13-可数状态空间马尔可夫链二

回顾

假设转移矩阵 不可约。

马尔可夫链是常返的，当且仅当对某个状态 ，

马尔可夫链是正常返的，当且仅当对某个状态 ，

今天的目标

• 平稳分布；
• 向平稳分布的收敛。

平稳分布

定理. 一条不可约马尔可夫链是正常返的，当且仅当状态空间 上存在一个概率测度 ，使得

推论. 如果一条不可约马尔可夫链是正常返的，则：

1. 存在概率测度 ，使得

2. 对所有 ，

事实上，

向平稳分布的收敛

定理. 如果一条不可约马尔可夫链正常返且非周期，则对所有状态 ，

定理. 如果一条不可约马尔可夫链是零常返的，则对所有状态 ，

向平稳分布的收敛

回顾. 考虑状态空间 为可数集、转移矩阵为 的马尔可夫链。对每个 ，定义

对不可约链，任意状态的返回时刻集合具有相同的最大公约数：

如果

则称该链是非周期的。

定理. 假设马尔可夫链不可约且非周期。如果该链正常返，则

麻省理工学院开放式课程