24-平稳分布

回顾

假设

是一条连续时间马尔可夫链。

跳跃时刻 定义为

跳跃链 定义为

不可约性： 不可约，当且仅当 不可约。

常返性： 假设 是不可约马尔可夫链，则 常返，当且仅当 常返。

今天的目标

• 正常返性；
• 平稳分布；

平稳性

假设 是生成元为 的连续时间马尔可夫链， 是它的跳跃链。

定义. 如果测度 满足

则称 是 的平稳测度。

引理. 如果 是平稳测度，则对所有 ，

引理. 测度 是 的平稳测度，当且仅当由

定义的测度 是跳跃链 的平稳测度。

正常返性

定义. 定义状态 的首次正返回时间为

如果

则称状态 是正常返的。

定理. 设 是一条不可约连续时间马尔可夫链，其生成元为 。下列命题等价：

1. 每个状态都是正常返的；
2. 某个状态是正常返的；
3. 存在平稳分布。

当其中任一命题成立时，平稳分布为

鞅

假设

是一个鞅。

1. 可选停止定理。

2. 鞅收敛定理：

   • 如果 在 中有界，则

• 如果 ，并且 在 中有界，则

• 如果 是一致可积的，则

泊松过程

假设 是一个泊松过程。

1. 定义与马尔可夫性质；
2. 叠加；
3. 刻画。

麻省理工学院开放式课程