04-随机过程 I

随机过程是一族以时间为索引的随机变量。另一种看法是：随机过程是路径空间上的概率分布，其中每条路径描述某个随机量或系统随时间的演化。

确定性过程遵循一条固定轨迹；随机过程中，我们事先不知道实际会得到哪条路径。但这并不表示我们对路径一无所知，因为概率分布已经给出了相关信息。若某条路径的概率为 1，那么该随机过程就等价于确定性过程。

随机过程常被解释为系统“随着时间不断演化”。从形式数学角度看，更合适的图景是：存在一条底层但未知的完整路径，我们在时刻 只观察到它的初始片段。

例如，

是确定性过程。而随机函数

构成一个随机过程。这是一个较退化的例子，后面将看到更丰富的随机过程。

我们仍在处理一个由概率律支配的基本试验，但引入时间变量后，可以提出许多新问题。本讲强调：

1. 值序列之间的依赖性。 例如，股票未来价格如何依赖过去价格？

2. 整个序列的长期平均。 例如，一台机器处于闲置状态的时间比例是多少？

3. 边界事件。 例如，在给定的一小时内，某电话系统的全部线路同时占线的概率是多少？

若时间变量取正整数，称为离散时间随机过程；若取正实数，称为连续时间随机过程。本讲先研究离散时间过程，因为它们可以显式表示，更具体、也更容易可视化；以后再讨论连续时间过程。

2. 简单随机游走

设 独立同分布，且各自以相同概率取值 或 。令

这在序列 上定义了一个概率分布，因而定义了一个离散时间随机过程，称为一维简单随机游走，以下简称随机游走。

由中心极限定理，当 足够大时，

的分布趋近均值为 0、方差为 1 的正态分布。

命题 2.1

1. 对所有 ，。
2. 独立增量： 对任意
   随机变量
   相互独立。
3. 平稳增量： 对所有 ， 与 同分布。

证明直接，留作练习。只要增量 独立同分布且均值为 0，这些性质仍成立。

例 2.2

1. 赌徒每轮参与如下游戏：庄家抛一枚均匀硬币，正面时赌徒赢 1 美元，反面时输 1 美元。若每次抛掷独立，则赌徒余额服从简单随机游走。
2. 随机游走也可以作为股票价格的模型，不过这是相当不准确的近似。

给定正整数 ，随机游走先到达 而非 的概率是多少？

设 为随机游走首次到达 或 的时刻，则

定义

目标是计算 。根据第一次抛硬币的结果，

边界条件为

若令 ，递推可得

由 ，

所以

3. 马尔可夫链

简单随机游走的一个重要性质是：过去对未来的影响完全由当前状态概括，无需保留全部历史。换言之， 的条件分布只依赖 ，而不依赖整个序列 。具有这种性质的随机过程称为马尔可夫链。

更正式地，设 为离散时间随机过程，每个 在离散集合 中取值，称 为状态空间。若对所有 和 ，

则称过程具有马尔可夫性质；具有此性质的随机过程就是马尔可夫链。

对有限状态空间，可令 。有限马尔可夫链可由转移概率描述：

并且

采用“第 列表示当前状态、第 行表示下一状态”的讲义约定，可把转移概率编码为

每一列的元素之和为 1。

例 3.1

1. 一台机器每天处于“工作”或“故障”状态。若今天工作，明天以 0.01 的概率故障，以 0.99 的概率继续工作；若今天故障，明天以 0.8 的概率修复，以 0.2 的概率继续故障。对应转移矩阵为
   
2. 简单随机游走也是马尔可夫链。但其状态空间无限，因此不能用有限维转移矩阵完整表示。

令

为 步转移概率。它满足

其中 。因此，按相应矩阵约定， 步转移矩阵为 。

状态空间 上的概率分布 若满足

以及

则称为马尔可夫链的平稳分布。

例 3.2
令 、，且每一步以 的概率加 1、以 的概率减 1。形式上，满足平稳方程的权重为“所有 上取相同常数”。但在无限状态空间 上，它无法归一化为总和为 1 的概率分布。

原讲义写成 ，但状态空间为 ，该表达不能构成概率分布；这里保留其想表达的平移不变权重，并指出归一化问题。

平稳分布向量 是转移矩阵 对应特征值 1 的特征向量。因此可由 Perron–Frobenius 定理推出：

定理 3.3
若对所有 都有 ，则系统存在唯一平稳分布，并且

对无限状态空间，一般不存在对应结论。

4. 鞅

定义 4.1
若离散时间随机过程 满足

其中

表示截至时刻 可获得的信息，则称该过程为鞅。

这表示在任意时刻，给定当前全部信息后，过程下一步的期望增益为零。它也是“机会游戏公平”的数学形式化。

命题 4.2
对所有 ，

证明可由条件期望的塔式性质归纳得到。

例 4.3

1. 简单随机游走是鞅。
2. 轮盘赌玩家的余额不是鞅，因为赌场有优势，通常有
   
3. 设 独立同分布，且
   令
   因为 ，所以 构成鞅。

原 PDF 文本层把该例的 识别为 0；但与乘积定义及鞅条件一致的初值应为 。

5. 可选停止定理

定义 5.1（停止时刻）
给定随机过程 ，若非负整数值随机变量 满足：对每个整数 ，事件 只依赖 ，则称 为停止时刻。

例 5.2

1. 在每次押注 1 美元的抛硬币游戏中，令 为玩家余额首次达到 100 美元的时刻，则 是停止时刻。
2. 在同一游戏中，令 为玩家余额第一次达到局部最大值的时刻，则 不是停止时刻，因为在时刻 无法只凭当前和过去信息判断 是否为峰值；还需要观察未来一步。

定理 5.3（Doob 可选停止定理，弱形式）
设 为鞅， 为停止时刻，且存在常数 使 。则

证明

由于 ，

因为 是常数，由期望的线性性，

关键是事件 由 决定，因而属于 。于是

因此

证毕。

定理的条件还可进一步放宽，参见文献 [4]。直观教训是：“在公平游戏中，寿命有限的人没有必胜策略。”反之，若在某项游戏中确实拥有优势，无论优势多小，长期来看都可能取胜。

练习 5.4
在抛硬币游戏中，玩家在余额首次达到 100 美元时停止。按定义 ，于是 。这是否与可选停止定理矛盾？

答案要点：通常不矛盾，因为该停止时刻没有确定的有限上界，甚至可能永远不到达 100；因此不满足本讲弱形式定理的假设。

可选停止定理可用于推出有趣结论。

练习 5.5
给定正整数 ，在抛硬币游戏中，玩家在余额首次等于 或 时停止，记该时刻为 。求 的概率分布，即

利用第 3 页的随机游走结论，

参考文献

1. S. Ross, A First Course in Probability。
2. D. Bertsekas、J. Tsitsiklis, Introduction to Probability。
3. L. Bachelier, “Théorie de la spéculation”, Annales Scientifiques de l’École Normale Supérieure, 3, 21–86。
4. R. Durrett, Probability: Theory and Examples, 第 3 版。
5. S. R. Srinivasa Varadhan, 课程讲义。