12-De Moivre–Laplace 定理与弱收敛

De Moivre–Laplace 极限定理

• 设 为独立同分布随机变量，并记

• 假设每个 以概率 取值 1，并以概率 取值 0。

• De Moivre–Laplace 极限定理：

• 这里，当 是标准正态随机变量时，

• 描述“ 高于或低于其均值多少个标准差”。

• 证明思路： 使用二项式系数和 Stirling 公式。

• 问题：如果 是来自其他某个概率律的独立同分布随机变量，是否也有类似陈述？

• 中心极限定理： 有，只要它们具有有限方差。

局部 的 De Moivre–Laplace 极限定理

• Stirling 公式：

  其中 表示两者之比趋于 1。

• 定理： 如果

  那么
  

弱收敛

• 设 为随机变量， 为随机变量序列。

• 如果在 连续的每一个 处都有

  就称 依分布收敛或依概率律收敛到 。

• 也称 弱收敛到 。

• 例： 令 为从 中通过独立同分布的公平抛硬币选出的随机变量。由 De Moivre–Laplace 定理，

  依概率律收敛到一个均值为 0、方差为 1 的正态随机变量。

• 例： 如果 几乎必然等于 ，那么 弱收敛到一个几乎必然等于 0 的 。注意，在此情形下

• 例： 如果 独立同分布，那么经验分布几乎必然收敛到 的概率律（Glivenko–Cantelli 定理）。

• 例： 设 是从某个固定概率律中独立同分布抽取的 个点中的第 大者。

收敛结果

• 定理： 如果 ，那么可以在同一个测度空间上找到相应的随机变量 ，使得

  几乎必然成立。

• 证明思路： 取 ，并令

• 定理： ，当且仅当对每个有界连续函数 ，都有

• 证明思路： 在同一个样本空间上定义 ，使其几乎必然收敛，再使用有界收敛定理。

• 定理： 假设 可测，并且其不连续点集的 -测度为零。那么

• 证明思路： 在同一个样本空间上定义 ，使其几乎必然收敛，再使用有界收敛定理。

紧致性

• 定理： 每个分布函数序列 都有一个子序列，收敛到某个右连续、单调不减函数 ，使得在 的所有连续点 处，

• 该极限未必是分布函数。

• 要使它成为分布函数，需要一个“紧性”假设。如果对每个 ，都可以找到一个 ，使得对所有 ，

  就称 是紧的。对相应的实随机变量或分布函数，也类似地定义紧性。

• 定理： 上述 的每个子序列极限是某个概率测度的分布函数，当且仅当 是紧的。

全变差范数

• 如果有两个概率测度 和 ，定义它们之间的全变差距离为

• 直观上，如果两个测度在全变差意义下很接近，那么在大多数情况下，从一个测度中抽出的样本看起来像是从另一个测度中抽出的样本。

• 全变差范数下的收敛远强于弱收敛。

提纲

• De Moivre–Laplace 极限定理
• 弱收敛
• 特征函数

特征函数

• 设 为随机变量。

• 的特征函数定义为

  它就像 ，只是多放入了一个 。

• 回顾定义

• 特征函数在某些方面与矩母函数相似。

• 例如，如果 与 相互独立，那么

  正如 。

• 同样，

  正如 。

• 如果 具有第 阶矩，那么

• 不过特征函数有一个优点：对所有随机变量 ，它在所有 处都有良好定义。

连续性定理

• Lévy 连续性定理： 如果对所有 ，

  那么 依概率律收敛到 。

• 利用这个定理，可以通过证明

  对所有 成立，来证明弱大数定律。在 这一特殊情形下，这等价于证明对所有 ，

• 矩母函数的类似结论： 如果矩母函数 对所有 和 都有定义，并且对所有 ，

  那么 依概率律收敛到 。