11-离散时间鞅

第 2 章　离散时间鞅

2.1　条件概率与条件期望

2.1.1　关于一个集合的条件期望

设 是概率空间。

回顾：若 ，且 ，则 关于 的条件概率定义为

注 2.1

集合函数

是一个概率测度。

定义 2.2

给定事件 后，随机变量 的条件期望定义为 关于条件概率测度 的期望。

例 2.3

考虑概率空间

其概率测度满足

令

那么

因此

而

令

则无条件期望为

给定 后的条件期望为

是在原概率测度 下对 求平均，而 是在事件 已经发生的条件下，关于新概率测度 求平均。

2.1.2　关于随机变量的条件期望

定义 2.4

设 是 上的离散随机变量，并假设

设 是 的联合概率质量函数， 是 的概率质量函数，即

1. 函数

   称为给定 时 的条件概率质量函数。

2. 对所有满足 的 ，给定 时 的条件期望定义为

例 2.5

（1）

令

为 的全部子集组成的集合，并令

设

联合质量函数为

因此

由此得到

（2）

设 的联合概率质量函数为

原始文本层把第二行首项错写为 ；由行列位置及后续边缘分布计算可确定应为 。

于是

以及

所以

因此

以及

以上定义适用于离散随机变量。对于连续型随机变量，单点事件通常满足

因此不能直接使用条件概率的分式定义。改为考虑小区间条件概率

再令 。

设 是联合连续型随机变量，联合概率密度为 。那么

当 时成立。原文本层把该极限错读为 ，这里按上述局部极限恢复。

定义 2.6

1. 对所有满足 的 ，给定 时 的条件概率密度函数定义为

2. 给定 时 的条件期望定义为

其中要求

注 2.7

若 是博雷尔可测函数，则

例 2.8

设 的联合密度为

求

解。 的边缘密度为

因此

于是

并且

记号 2.9

用

表示随机变量 的一个函数，该函数在 处的值为

例 2.10

在例 2.8 中，

注 2.11

是一个随机变量。

条件期望

并不是一个固定数，而是随着 的取值变化的随机变量。它可以借助 对样本空间 产生的分割来理解：在每个集合

上，条件期望取常值 。

2.1.3　关于分割的条件期望

先在离散随机变量的情形解释

的关系。若 的可能取值为

则

也就是说，对 ，

这正是在分割的每一块上，对 求相应的条件平均。

2.1.3.1　关于样本空间分割的条件概率

考虑概率空间 。设

满足：

1. 是 的一个分割，即

   且当 时，

2. 对每个 ，

3. 对每个 ，

因此，对任意 ，每个

都有定义。

定义 2.12

集合 关于分割 的条件概率定义为

例 2.13

考虑概率空间

令

以及

原文本层把第一个区间的右端点错读为 ；由后续分母及分割结构可确定应为 。

于是

注 2.14

1. 若

   则

2. 是随机变量，并且

   因此，若 ，则

3. 若 不相交，则

2.1.3.2　关于离散随机变量所诱导分割的条件概率

设

其中 是互不相同的常数，

是 的一个分割，并且对每个 ，

于是

定义 2.15

1. 由下式给出的分割

   称为由 诱导的分割。

2. 定义

   称为 关于随机变量 的条件概率。此外，用

   表示条件概率

3. 设 都具有式 (2.1) 的形式。用

   表示由这些随机变量共同诱导的分割，并把

   简记为

例 2.16

（1）

令

并令

这意味着

于是

（2）

设 是独立同分布的随机变量，并且

对 ，令

给定 时，

因此

特别地，

以及

2.1.3.3　关于分割的条件期望

回顾：设 是简单随机变量，

其中

是 中两两不交的可测集，而

是互不相同的实数。这也意味着 关于

可测。其期望为

定义 2.17

随机变量 关于分割

的条件期望定义为

命题 2.18

1. 线性性：

2. 若 是常数，则

3. 对示性函数有

4. 全期望公式：

这些性质先对简单随机变量成立；更一般的条件期望性质将在 2.1.4 节给出。

注 2.19

1. 是随机变量。

2. 若

   则式 (2.2) 也可以写成

3. 由条件概率的定义，

例 2.20

令

并令

原文本层把第一个区间的右端点错读为 ；结合图 2.1 和后续积分可确定应为 。

由注 2.19（3），

而

类似地，

所以

图 2.1：例 2.20 中的随机变量 及其条件期望。 横轴为 ，并标出

在三个区间上的高度依次为 ；条件期望则在 上取常值 ，在 上取常值 。

对简单随机变量定义条件期望后，可以像第 1 章构造一般期望那样，先推广到正随机变量，再推广到一般实值随机变量。

2.1.4　关于 -代数的条件期望

上一节通过离散随机变量诱导的可数分割定义条件期望。当 是连续型随机变量时，它可能产生不可数多个取值层，因此需要直接以 -代数表达所掌握的信息。

设

是子 -代数， 是非负随机变量。下面定义

定义 2.21

关于 的条件期望，是一个记为

的非负随机变量，并满足：

1. 关于 可测；

2. 对所有 ，

-代数 表示已经掌握的信息，而

表示在这些信息下对 的平均估计。

条件（1）意味着条件期望只能依赖于 中可辨识的信息。例如，对每个常数 ，

条件（2）说明：在每个 -可测事件 上，条件期望与原随机变量具有相同的积分。

给定 与 后，上述条件期望是否存在、是否唯一？答案由拉东–尼科迪姆定理保证。

注 2.22

由拉东–尼科迪姆定理，对任意 与 ，条件期望都存在，并且除一个 -零测集外唯一。

例 2.23

（1）

考虑概率空间

令 在 上均匀分布，并令

下面用两种方法求条件期望。

方法 1：使用样本空间分割。

因为

所以

类似地，

方法 2：直接使用条件期望的定义。

由定义 2.21（1），条件期望必须具有形式

取

则

而

根据定义 2.21（2），

所以

同理，

因此

（2）

考虑概率空间

设随机变量 的密度为

并令

用与上面相同的方法可得

下面考虑一般随机变量。与第 1 章的可积性处理相同，把 写成

其中

作如下假设：

定义 2.24

一般随机变量 关于 -代数 的条件期望定义为

其中要求

在 -几乎处处意义下成立。

在

的样本点集合上，差

可以任意赋值；在上述假设下，这一集合是 -零测集。

条件概率可以看作条件期望的特殊情形。无条件情形中，

取 ，得到

因此，在条件情形中，用示性函数的条件期望定义条件概率。

定义 2.25

设 。 关于 的条件概率定义为

命题 2.26

1. 若

   则

2. 若

   则

3. 条件期望满足

4. 对常数 ，在相关期望有定义的条件下，

5. 考虑平凡 -代数

   则

6. 若 关于 可测，则

7. 全期望公式：

8. **塔式性质。**若

   则

9. 设 关于 可测，并且

   则

证明。 （1）、（2）、（4）、（5）、（6）可直接由条件期望定义得到。

对（3），由

以及（2），可得

从而得到所需模不等式。

对（7），在定义 2.21（2）中取 ，便有

对（8）：

首先，

关于 可测。因为

它也关于 可测。由（6），

其次，

显然关于 可测。对任意 ，由于 ，

由条件期望的唯一性，

对（9），证明稍复杂，给出其步骤：

1. 先设 是关于 可测的示性函数，即

   此时结论可由定义 2.21 直接验证。

2. 利用线性性质（4），把结论推广到关于 可测的简单随机变量 。

3. 用关于 可测的简单随机变量列从下方逼近非负的 。

4. 对一般 ，使用分解

证毕。

定理 2.27

设 是随机变量列。

1. **条件控制收敛定理。**若存在可积随机变量 ，使对所有 ，

   并且

   则

2. 条件单调收敛定理。

   若存在 满足

   并且

   则

条件单调收敛定理还有递减形式：若

并且

则

3. 条件法图引理。

   1. 若

      则

   2. 若

      则

4. 若 ，则

5. **条件詹森不等式。**若 是 上的凸函数，并且 与 可积，则

注 2.28

记

那么记号 2.9 与定义 2.21 一致，即

命题 2.29

若随机变量 与 -代数 独立，则

这里：

1. 若对每个

   事件 都独立，则称 -代数 独立。

2. 若 与 独立，则称随机变量 与 独立。

习题

1. 考虑概率空间 ，其中

   且

   定义随机变量 ：

   并令

   1. 列出 中的所有集合。

   2. 求

   3. 求

      原文本层把此处的减号错读为等号；若写成等号将与 矛盾。

   4. 令

      对 ，求 。

   5. 令

      求

2. 考虑概率空间

   1. 设 在 上均匀分布，并令

      求 。

   2. 设随机变量 在 上的密度为

      并令

求

3. 考虑概率空间

   1. 令

      求

   2. 设 的联合密度函数为

      求

4. 设 是概率空间 上的可积随机变量。把 分解为

   其中

   1. 证明 与 不相关。
   2. 更一般地，证明 与每个 -可测随机变量都不相关。

   **提示：**对每个 -可测随机变量 ，都存在函数 ，使得

5. 设

   是独立同分布随机变量列，并令

假设

对

计算

以及

2.2　离散时间鞅

设 是概率空间。

定义 2.30

1. 若 -代数列

   满足对所有 ，

   则称它为一个滤过。

2. 带有滤过

   的概率空间称为滤过概率空间，记作

   或

例 2.31

令

为 的全部子集组成的集合。定义

等等。那么 是一个滤过。

定义 2.32

设 是随机变量列， 是滤过。若满足：

1. 对每个 ， 关于 可测，即 关于 适应；

2. 对每个 ，

3. 对每个 ，

则称

是一个鞅；也称 是关于 的鞅，或简称 -鞅。

注 2.33

定义 2.32 的条件（3）等价于：

也等价于：对所有 和所有 ，

例 2.34

（1）中心化独立增量之和

设 是独立同分布随机变量列，并且

定义

以及

验证鞅的三个条件：

1. 因为

   都关于 可测，所以 关于 可测。

2. 可积性：

另外，

证明如下：由于

所以

反过来，由

可得

3. 由 的定义、 的独立性以及命题 2.29，

因此 是鞅。

（2）均值为一的正独立因子之积

设 是相互独立的严格正随机变量列，并且对每个 ，

定义

那么：

1. 由于 关于 可测， 也关于 可测。

2. 因为所有 ，并利用独立性，

3. 由独立性及命题 2.29，

因此 是鞅。

（3）条件期望鞅

设 是满足

的随机变量， 是滤过。定义

那么 是鞅。

注 2.35

概率测度 和滤过 的选择都很重要；同一个随机过程在不同测度或不同信息流下可能不再是鞅。

引理 2.36

若 是关于 的鞅，则

定义 2.37

1. 若随机过程 满足以下条件，则称它是关于 的下鞅：

   • （a） 关于 适应；

   • （b）对每个 ，都有 ；

   • （d）对所有 ，

2. 若随机过程 满足以下条件，则称它是关于 的上鞅：

   • （a） 关于 适应；

   • （b）对每个 ，都有 ；

   • （e）对所有 ，

注 2.38

1. 下列条件等价：

2. 下列条件等价：

3. 是下鞅，当且仅当 是上鞅。

4. 是鞅，当且仅当它既是下鞅又是上鞅。

定理 2.39

设 是下鞅， 是定义在 上的递增凸函数。若对所有 ， 都可积，则 是关于 的下鞅。

证明。 因为 递增，而且

所以由条件詹森不等式可得

这说明 是下鞅。

注 2.40

1. 若 是鞅， 是定义在 上的凸函数，则 是下鞅。

2. 若 是鞅， 是定义在 上的凹函数，则 是上鞅。

推论 2.41

若 是下鞅，则 是下鞅。

推论 2.42

若 是鞅，则：

1. 若 ，其中 ，则 是下鞅。

2. 是下鞅。

3. 是下鞅，其中对 ，

证明。 函数 、 和 都是凸函数。

推论 2.43

若 是上鞅，且 是常数，则 是上鞅。

证明。 留作练习。

例 2.44

（1）独立随机变量的部分和

设 是一列相互独立的随机变量，并且

定义

那么

因此， 是下鞅。

（2）鞅的指数

若 是鞅，则 是下鞅。

（3）取值于 的独立随机变量之积

设 是一列相互独立的随机变量，并且对所有 都有

定义

于是

因此， 是上鞅。

练习

1. 设 是一列掷硬币试验，并令 为由 生成的 -代数。对下列每个事件，找出使该事件属于 的最小 ：

2. 设 是满足 的随机变量。对所有 ，定义

   证明 是关于 的鞅。

3. 设 与 是相互独立、同分布的随机变量，且

   再定义

   令

   证明二期过程 和 都是鞅，但 不是鞅。

4. 设随机变量序列 定义为

   其中 是一列相互独立、同分布的随机变量，并且

   （a）证明 是关于滤过

   的鞅。

   （b）证明由

   定义的随机过程 是关于 的鞅。

5. 设 是一列相互独立、同分布的伯努利随机变量，其矩母函数满足

   令

   证明序列 是鞅，其中

6. 令 。对 ，规定

   以及

   证明 是关于 的鞅，其中

2.3 鞅变换与杜布分解

2.3.1 鞅变换

考虑滤过概率空间

定义 2.45

若对所有 ， 都关于 可测，则称随机过程 是关于 的可预测过程。

定义 2.46

1. 设 是随机过程， 是可预测过程。则随机过程

   称为 经 的变换。

2. 若此外 还是鞅，则称 为鞅变换。

定理 2.47（鞅变换定理）

设 是一列有界随机变量。

1. 若 是上鞅，且 是一列关于 可预测的非负随机变量，则

   是上鞅。

2. 若 是下鞅，且 是一列关于 可预测的非负随机变量，则

   是下鞅。

3. 若 是鞅，且 是一列关于 可预测的随机变量，则

   是鞅。

证明。 证明第 2 项。由

可知 是下鞅。事实上，因为 有界且关于 可测，第一个带括号的和具有条件均值为零的增量，因而给出鞅部分；又因为 是下鞅且 ，第二部分的每个增量都非负，因而构成递增过程。第 1 项和第 3 项的证明类似。

2.3.2 杜布分解

定义 2.48

若随机变量序列 满足：

1. ，并且对所有 ，

2. 对所有 ，

则称 为递增过程。

例 2.49

1. 若对所有 ，，则 是递增过程。

2. 令

   其中 是满足 的非负随机变量，则 是递增过程。

3. 若对所有 ，

   且各 相互独立，则 不是递增过程。

定理 2.50（杜布分解）

任意下鞅 都可以写成

其中 是鞅， 是递增可预测过程。

证明。 令

并且对 ，令

我们断言：

1. 是关于 的鞅；
2. 是递增过程。

先证明第 1 项。根据定义，

显然，

而

因此， 是鞅。

再证明第 2 项。由于

并且对 ，

所以

其中最后一个不等式来自 的下鞅性质。

此外，

因此， 是关于 的可预测过程。

注 2.51

1. 分解式（2.3）是唯一的。

2. 在分解式（2.3）中，递增可预测过程 称为下鞅 的补偿子。