32-Markov 链的进一步内容

Markov 链：一般定义

• 考虑可测空间 。

• 如果函数

  满足下列条件，就称它为一个转移概率：

  • 对每个 ，映射
    是 上的一个概率测度；
  • 对每个 ，映射
    是可测函数。

• 如果对所有 ，都有

  就称 是关于 、转移概率为 的 Markov 链。

• 怎样构造一条无限 Markov 链？在 上选择转移概率 和初始分布 。对每个 ，规定

  再利用 Kolmogorov 扩张定理把它扩张到 。

Markov 链

• 再次给出定义： 如果

  就称 是关于 、转移概率为 的 Markov 链。

• 再次给出构造： 在 上固定初始分布 。对每个 ，规定

  再利用 Kolmogorov 扩张定理把它扩张到 。

• 记号： 这一扩张在序列空间

  上产生概率测度 。

• 定理： 从 中选出的 是 Markov 链。

• 定理： 如果 是初始分布为 、转移概率为 的任意 Markov 链，那么它的有限维概率正如上式所示。

Markov 性质

• Markov 性质： 取

  令 为 Markov 链测度， 为 上的移位算子；它把序列向左移动 个位置，并丢弃移出边界的元素。如果

  有界且可测，那么

• 强 Markov 性质： 可以把 换成一个几乎必然有限的停止时 ，而且函数 可以随时间变化。假设对每个 ，

  都可测，并且对所有 都有 。那么

  其中右端表示先计算 ，再代入 、。

性质

• 无限次机会性质： 假设 是 Markov 链，并且在事件 上有

  那么

  其中 i.o. 表示“无穷多次发生”。

• 反射原理： 对 上的对称随机游走，有

• 证明思路： 使用反射图像。

可逆性

• 如果对所有 都有

  就称测度 是可逆的。

• 可逆性蕴含平稳性。它表示从 流向 的质量，与从 流向 的质量相同。

• 沿每条边的净流量都为零。

• 如果一条 Markov 链容许一个可逆概率测度，就称该 Markov 链是可逆的。

• 无向图上的所有随机游走都是可逆的吗？

• 有向图又怎样？

环路定理

• Kolmogorov 环路定理： 假设 不可约。那么，存在可逆测度，当且仅当下列两个条件成立：

  -
  

  • 对任意环路 ，如果
    那么
    

• 在构造具有给定可逆分布的 Markov 链时，这是一个值得记住的有用想法；Markov 链 Monte Carlo（MCMC）应用中就需要这样的构造。

提纲

• 一般设定与基本性质
• 常返性与暂留性

探问

• 一个有趣的问题： 如果 是可数状态空间上的无限概率转移矩阵，那么在级数收敛时，无限矩阵

  表示什么？

• 问题： 它是否描述了从 出发时到达 的期望次数？其他幂级数是否也有类似解释？

• 那么

  又怎样？

• 这是否与经过一个服从 Poisson 分布的随机步数之后的分布有关？

常返性

• 考虑从 出发的随机游走最终返回 的概率。

• 如果该概率为 1，那么它会无穷多次返回 ；否则就不会。若游走会无穷多次返回 ，就称 是一个常返状态。