23-不可约性与常返性

回顾

是可数状态空间上的连续时间 Markov 链，并满足下列要求：

• 齐次性

• 链的右连续性
  对任意 ，存在 ，使得对所有 ，都有

• 不爆炸性
  爆炸时刻满足

• 半群的右连续性
  当 时，

即每个矩阵元素都逐点收敛。

考虑转移半群 ：

• 无穷小生成元为

也写作

• 由于

因而

今天的目标

• 无穷小生成元 刻画该链；
• 不可约性与常返性。

无穷小生成元刻画转移半群

定理

设 是生成元为 的连续时间 Markov 链。那么半群 是后向方程

的最小非负解。

回顾

• 下列极限存在：

• 第一次停留时间 满足

• 首次跳跃后的状态满足

• 与 相互独立。

不可约性

设 是连续时间 Markov 链。

• 跳跃时刻为 ，其中

• 跳跃链为 ，其中

• 下列极限存在：

• 在状态 的停留时间 服从参数为 的指数分布。
• 跳跃过程满足

定义

连续时间 Markov 链不可约，当且仅当它的跳跃链不可约。

引理

对 ，下列陈述等价：

1. 存在 ，使得

2. 存在

使得

3. 对所有 ，都有

常返性

设 是连续时间 Markov 链， 是它的跳跃链。

定义

若

则称状态 是常返的。

若

则称状态 是暂留的。

定理

设 是不可约的连续时间 Markov 链。

• 若 对跳跃链 是常返的，则 对 也是常返的；
• 若 对跳跃链 是暂留的，则 对 也是暂留的；
• 或者所有状态都是常返的，或者所有状态都是暂留的。

注

状态 对 常返，当且仅当

状态 对 暂留，当且仅当

2015 年春季