21-连续时间马尔可夫链

回顾

若 上的点过程 满足以下条件，则称它是强度为 的泊松过程：

1. 对任意 和任意

随机变量

相互独立。

2. 对任意区间

随机变量 服从均值为

的泊松分布。

今天的目标

• 泊松过程的刻画；
• 连续时间马尔可夫链。

泊松过程——刻画

定理. 设 是一个取值于

的单调递增右连续过程，并且

设 。则下列命题等价：

1. 是强度为 的泊松过程。

2. 具有独立增量，并且当 时，下列关系关于 一致成立：

3. 具有独立平稳增量，并且对所有 ，

连续时间马尔可夫链

设 是一个可数状态空间。

定义. 如果对所有

以及所有

过程 都满足

并且右侧只依赖于时间差

则称 是一条连续时间马尔可夫链。

注（正则性要求）. 过程是右连续的。由于状态空间可数且路径分段常值，这意味着对每个 ，存在 ，使得

链的半群

定义. 假设 是一条连续时间马尔可夫链。定义

称为该链的半群。

它满足：

例

例 1. 泊松过程具有马尔可夫性。其半群为

例 2. 设

是一条转移矩阵为 的离散时间马尔可夫链。再令

是一个与该链独立、强度为 的泊松过程。定义

则 是一条连续时间马尔可夫链，其半群为

停留时间

设 是一条连续时间马尔可夫链。

问题： 它在状态 会停留多长时间？

在 的条件下，定义状态 处的停留时间为

定理. 服从指数分布。

引理. 设 是一个正随机变量。 具有无记忆性，即

当且仅当 服从指数分布。

麻省理工学院开放式课程