10-概率论

第 1 章　概率论

1.1　概率空间

本节介绍概率空间 及相关记号。

定义 1.1

1. 所有可能的结果

   称为样本点。

2. 所有可能结果的集合，也就是所有样本点组成的集合

   称为样本空间。

这里 是指标集。例如，若

则通常把 写成 。若 ，可能结果的集合可以是不可数的。

例 1.2

1. ，即所有自然数的集合：

2. ，即所有实数的集合。

3. 是所有正奇数组成的集合。

4. 是所有水果组成的集合。例如，

5. 是所有颜色组成的集合。

这些例子表明，样本空间中的元素不一定是数，也可以是一般对象。

定义 1.3

设 是由 的若干子集组成的集合族。若满足下列条件，则称 是一个 -代数：

1. ；

2. 若 ，则

3. 若对每个 都有

   则

-代数可以理解为一个对补集和可数并运算封闭的事件系统。

例 1.4

（1）

令

那么

是一个 -代数。

但是

不是 -代数，因为

而

（2）

令 ，并令 为 的所有子集组成的集合，则 是一个 -代数。

（3）

令 。下列集合族都是 -代数：

再令

它也是 -代数。

此外，

表示由各个二元块

的任意可数并组成的 -代数。

（4）

令 。

集合族

不是 -代数。

原文本在此把 写成 ，并声称其并集 ；这与定义矛盾，因为 是有限集。标准反例应取

此时

它和它的补集都不是有限集，因而不属于 。

另一方面，

是一个 -代数。

同一个样本空间上可以定义许多不同的 -代数；它们所包含的事件信息可以不同。

定义 1.5

设 是非空集合， 是 上的 -代数，则称

为可测空间。

定义 1.6

设 是可测空间。若实值函数

满足下列条件，则称 为概率测度：

1. 对所有 ，

2. **可数可加性：**若 是 中两两不交的可数集合列，则

3. 归一化：

-代数对可数并封闭，保证式 (1.1) 左边的集合仍属于 ，因此其概率有定义。

命题 1.7

1. 对所有 ，

2. 空集的概率：

3. 补集公式：

4. 两个集合的并集公式：

5. 若 ，则

6. 若 是 中的集合列，则

7. 若 满足

   则有从下连续性，见下一页。

在命题 1.7（7）的递增情形，

若 递减，即

则有从上连续性：

定义 1.8

三元组

称为概率空间。

例 1.9

（1）抛硬币

令

其中 表示正面， 表示反面。取

定义

则 是概率空间。原始文本层把 错读为 ，这里按概率测度公理恢复为 。

（2）掷一枚公平骰子

令

为 的所有子集组成的集合。若

并由可加性定义其他事件的概率，则 是概率空间。

（3）可数样本空间

令

为可数集， 为 的所有子集组成的集合。设实数列 满足

以及

定义集合函数

如下：

并且对任意 ，

那么 定义了一个概率测度。称

为离散概率空间，并称 为离散样本空间。

由集合族生成的 -代数

给定样本集 以及 的一个子集族 ，是否存在另一个子集族 ，满足：

1. 包含关系：

2. 是 -代数？

答案是肯定的。例如，可以取 为 的全部子集组成的集合。

更进一步，我们希望找到包含 的最小 -代数。它可以写成

任意多个 -代数的交仍是 -代数，因此这个最小对象确实存在。

记号 1.10

若 是包含 的最小 -代数，则称 由 生成，记作

例 1.11

令

则

例 1.12

令 ，并令 为 中所有开区间

组成的集合。由它生成的 -代数

中的集合称为博雷尔集， 称为实数轴上的博雷尔 -代数。

例如，

都属于 。

我们在实分析和概率论中通常遇到的实数子集大多是博雷尔集，但并非 的每个子集都是博雷尔集。非博雷尔集的构造需要更深入的实分析知识。

注 1.13

令

并令 为 中所有博雷尔集组成的集合，即

对区间 ，定义

这可以扩张成概率测度

称为 上的勒贝格测度，它给出区间的长度。因此

是概率空间。

习题

1. 求下列集合族 生成的 -代数：

   1. 第一组：

   2. 第二组：

   3. 第三组：

   4. 第四组：

2. 令

   并令

   在 上给出一个概率测度。

习题（续）

3. 考虑概率空间 ，其中

   是 的所有子集组成的集合，并且

   原文本在样本空间中漏排了 ，但随后的概率和随机变量都使用了样本点 ，故这里按完整集合恢复。

   1. 令

      求

   2. 令

      求

4. 令 ，并定义

   若 可数，定义 ；若 可数，定义 。证明 是概率空间，即证明 是 -代数，且 是概率测度。

1.2　随机变量

设 是概率空间。

定义 1.14

若函数

满足：对每个博雷尔集 ，

则称 是一个随机变量，也就是说， 关于 可测。

记号 1.15

对随机变量 和 ，记

例 1.16

设

（1）

令

对任意 ，

因此 是随机变量。

（2）

令

对 ，

若直接对所有博雷尔集 检验这个原像属于 ，会很麻烦。下面的定理给出更方便的判别方法。

定理 1.17

下列命题彼此等价：

1. 是 上的随机变量；

2. 对所有 ，

3. 对所有 ，

4. 对所有 ，

5. 对所有 ，

因此，要检验函数是否为随机变量，通常只需检验上述半无限区间的原像。现在回到例 1.16 中的 。

例 1.18

（1）

设

若 ，则

若 ，则

若 ，则

因此 是随机变量。

（2）

下面给出一个函数不是随机变量、另一个函数是随机变量的例子。

令

并令

定义

由于

不是随机变量。

再定义

分情况有：

1. 若 ，

2. 若 ，

3. 若 ，

4. 若 ，

所以 是随机变量。

定理 1.19

1. 若 是随机变量，而

   是博雷尔可测函数，则 是随机变量。

2. 若 是随机变量，而 是二元博雷尔可测函数，则

   是随机变量。

3. 若 是随机变量列，则

   都是随机变量；当逐点极限存在时，

   也是随机变量。

与 的定义可参见附录 A。

例 1.20

1. 设 是离散概率空间，并且 是 的幂集，则 上的每一个实值函数都是随机变量。

2. 设

   其上的随机变量恰好是定义在 上的博雷尔可测函数。

习题

1. 令

   并定义三个函数：

   以及

   1. 令

      判断

      中哪些是 上的随机变量。

   2. 令

      判断上述五个函数中哪些是随机变量。

   3. 令

      判断上述五个函数中哪些是随机变量。

2. 设 是 上的随机变量，且 。定义

   证明 是随机变量。

习题（续）

3. 设 是

   上的勒贝格测度。定义

   对 ，定义

   1. 证明 是概率测度。

   2. 证明若 ，则 。此时称 关于 绝对连续。

   3. 证明存在集合 ，使

1.3　期望

定义 1.21

函数

称为集合 的示性函数。

注 1.22

示性函数 是随机变量，当且仅当

定义 1.23

1. 设对每个 ，都有 ，并且随机变量 具有形式

   则称 为简单随机变量。

2. 若 具有式 (1.2) 的形式，定义 的期望为

在使用这一表示时，可以把取相同值的部分合并，并把集合细分为两两不交的可测集，从而避免表示方式的重复。

例 1.24

令

并考虑

那么

注 1.25

下面把期望推广到一般正随机变量。设 。对所有 ，定义

并令

图 1.3 表示 是从下方逼近 的阶梯函数。由构造可知，对每个 ，

即

若存在某个 ，使

则定义

这里使用的是勒贝格积分。与黎曼积分按定义域分割区间不同，勒贝格积分按函数值的范围分层，并用阶梯函数或简单函数逼近被积函数。图 1.1 与图 1.2 分别示意这两种积分方法。

图 1.1：黎曼积分的逼近。 图中沿自变量轴分割定义域，再用每个小区间上的矩形逼近函数图像下方的面积。

图 1.2：勒贝格积分的逼近。 图中沿函数值轴分层，把取值落入同一层的样本点归为一组，再计算各层高度与相应测度的乘积。

若对每个 都有

则定义正随机变量 的期望为

由此，任何正随机变量都有定义良好的期望，其值可以是有限数，也可以是 。

定义 1.26

考虑一般实值随机变量 。把它分解为

其中

图 1.3： 从下方逼近 。 图中曲线表示 ，阶梯线表示 。阶梯高度以

为间隔，并且随着 增大，阶梯逼近逐点上升到 。

定义 1.26 继续如下。

1. 只要

   不同时等于 ，就定义

2. 若

   则称 具有有限期望，并记

3. 对 ，定义

   这称为 关于 在 上的积分。

4. 若式 (1.3) 存在且有限，则称 在 上关于 可积。

注 1.27

1. 若 在 下具有累积分布函数 ，则

   更一般地，若

   是博雷尔可测函数，则

2. 若 在 下具有概率密度函数 ，则

   且

3. 若 在 下具有概率质量函数 ，可能取值为

   则

   且

例 1.28

（1）

令

并定义

令

那么

并且

（2）

设 在 上服从均值为 、方差为 的标准正态分布，则其概率密度函数为

于是

同理，

因为被积函数是奇函数。

此外，

命题 1.29

1. **绝对可积性。**积分

   存在且有限，当且仅当

   这一点与允许条件收敛的某些黎曼积分情形不同。

2. 线性性。

3. **关于集合的可加性。**若 两两不交，则

4. **正性。**若 在 上 -几乎处处成立，则

5. **单调性。**若

   在 上 -几乎处处成立，则

这里，“性质在 -几乎处处成立”或“-几乎必然成立”，是指该性质成立的概率等于 ；也就是说，它至多在一个概率为 的集合上不成立。

命题 1.29 的最后一条性质为：

6. 模不等式。

定理 1.30

1. **控制收敛定理。**若

   在 上 -几乎处处成立，而且对每个 ，

   在 上 -几乎处处成立，其中

   则

2. **单调收敛定理。**若 ，且

   在 上 -几乎处处成立，则

3. **法图引理。**若对每个 ，都有 在 上 -几乎处处成立，则

4. **詹森不等式。**若 是凸函数，并且 与 都可积，则

习题

1. 设 为固定常数，并定义凸函数

   设 服从均值为 、方差为 的正态分布，即 的概率密度函数为

   1. 求

   2. 验证詹森不等式确实成立：

习题（续）

2. 对每个正整数 ，定义均值为 、方差为 的正态密度

   1. 求函数

   2. 求

   3. 注意，

      解释为什么这并不违反单调收敛定理。

3. 设 是

   上的勒贝格测度。定义

   对 ，定义

   1. 证明 是概率测度。

   2. 证明若 ，则 。此时称 关于 绝对连续。

   3. 证明存在集合 ，满足