02-Markov 链的平稳分布

回顾

考虑状态空间为 、转移矩阵为 的 Markov 链：

记：

• ： 的分布；
• ： 的分布。

如果概率测度 满足

则称 是平稳分布。

若 是平稳分布且

则对所有 ，

本讲目标

• 不可约性；
• 非周期性；
• 平稳分布的存在性与唯一性。

定义　如果对任意 ，都存在一个可能依赖于 的整数 ，使得

则称转移矩阵 是不可约的。

这表示从任意状态出发，都有可能在有限步内到达任意其他状态。

定义　对任意 ，定义

状态 的周期定义为集合 中所有元素的最大公约数，记为

引理　如果 不可约，则对所有 ，

因此，不可约链的所有状态具有相同周期。

非周期性

定义　对不可约 Markov 链，把所有状态共同的周期定义为该链的周期。

如果所有状态的周期都等于 1，则称该链是非周期的。

例　考虑奇数 个顶点组成的环上的简单随机游走。该随机游走不可约且非周期。

定理　如果 不可约且非周期，则存在整数 ，使得对任意 和任意 ，都有

换言之，在经过足够多步后，从任意状态到任意其他状态都具有严格正的转移概率。

平稳分布的存在性

定义　对 ，定义

• ：首次到达状态 的时间；
• 当 时， 是首次返回 的时间。

引理　假设 不可约。则对任意 ，

这里 表示在初始状态 的条件下取期望。

定理　如果 不可约，则存在概率测度 ，使得

并且对所有 ，

平稳分布的唯一性

回顾与定义

• 若 是 上的测度，则 仍是 上的测度；
• 若 是 上的函数，则 仍是 上的函数；
• 若

则称 是平稳的；

• 若

则称 是调和函数。

引理　假设 不可约。则 上的任意调和函数 都必须是常数函数。

定理　假设 不可约。则存在唯一的平稳分布。此外，对所有 ，

因此，一个状态在平稳分布下的概率，等于从该状态出发首次返回所需平均时间的倒数。

平稳分布总结

在证明平稳分布的存在性和唯一性时，关键假设是 不可约。

当 不可约时，可以明确写出平稳分布：

事实上：

• 平稳分布的存在性并不要求不可约；
• 平稳分布的唯一性需要不可约性。