11-基础统计

第十一部分：基础统计——均值、方差与协方差

本文件对应原 PDF 第 74-80 页。

本部分内容

• 11.1 实际均值、期望与方差
• 11.2 二项、Poisson 与正态分布
• 11.3 协方差矩阵与联合概率
• 11.4 统计学的三个基本不等式
• 11.5 Markov 矩阵与 Markov 链

11.1 均值、期望与方差

样本均值与期望

进行 次试验并观察输出 ，样本均值为

若随机变量可能取值 ，相应概率为 ，则理论均值或期望为

大数定律说明，在适当条件下，当独立同分布试验次数 时，样本均值几乎必然趋近理论期望：

样本方差与总体方差

样本方差衡量观测值围绕样本均值的离散程度：

分母使用 ，使其成为总体方差的无偏估计量。

总体方差定义为：

展开可得常用的第二公式：

公平硬币示例

令

则

连续分布

对连续随机变量，概率质量的求和变成对概率密度 的积分：

11.2 二项、Poisson 与正态分布

1. 二项分布

进行 次相互独立、每次成功概率为 的 Bernoulli 试验。恰有 次成功的概率为

其中

二项随机变量的均值和方差为

2. Poisson 分布

考虑稀有事件极限：

保持不变。

零次成功的二项概率为

一般地，恰有 次事件的概率趋于

Poisson 分布的均值和方差相同：

它们分别是二项分布均值 和方差 在稀有事件极限下的结果。

3. 正态分布

均值为 、方差为 的正态分布记为

其概率密度为

图像是以 为中心的对称钟形曲线。

标准正态分布为

标准化变量为

中心极限定理说明：对具有有限方差的独立同分布样本，其标准化样本和或样本均值的分布随着样本量增加趋近标准正态分布。

更准确地，若 的均值为 、方差为 ，则

的分布在 时趋近 。

多元正态分布

对 维随机向量 ，均值向量为

协方差矩阵为 。若 正定，多元正态密度为

指数中的二次型给出从 到均值 的协方差加权距离。

11.3 协方差矩阵与联合概率

考虑两个随机量，例如年龄 与身高 。均值向量为

设联合概率

边缘概率为

即允许 取所有可能值。

的方差为

的协方差为

协方差矩阵为

离散形式为

每一项都是正半定秩一矩阵，因此 总是正半定。

如果不存在某个非零线性组合几乎必然为常数，则 正定。若一个变量能被另一个变量精确线性确定，则出现相关方向， 可能只有正半定而非正定。

如果 独立，则协方差为零， 为对角矩阵。但要注意：一般情况下“协方差为零”只表示不相关，并不一定推出独立；对联合正态分布等特殊类别，两者才等价。

两枚硬币

若两枚硬币粘在一起，总是同时出现相同结果，则

这是相关的奇异情形， 正半定。

若两枚公平硬币相互独立，则

协方差为零， 为正定对角矩阵。

11.4 统计学的三个基本不等式

Markov 不等式

若随机变量 ，则对任意 ：

例如 ，且 取非负整数值：

把后三项的一部分提出：

所有省略项都非负，所以

因此：

Chebyshev 不等式

若 的均值为 、方差为 ，则

证明只需把 Markov 不等式应用于非负随机变量

因为

且

所以

Chernoff 界

设

是独立随机变量之和，记其均值为

对典型的独立 Bernoulli 变量和，乘法形式的 Chernoff 界给出：

与 Markov、Chebyshev 的多项式衰减不同，这些概率随偏离程度呈指数衰减。直观上，一大批独立变量的总和若要显著偏离均值，通常需要多个变量同时出现不寻常取值，因此概率很小。

11.5 Markov 矩阵与 Markov 链

按本书的列向量约定，Markov 矩阵 满足：

并且每一列元素之和为 。

因此概率向量 的演化为

Perron-Frobenius 理论说明：

• 的最大模特征值为

• 若所有元素严格为正，则其余特征值满足

• 若只要求元素非负，则其余特征值满足

考虑

它的特征值为

因此 的特征值为

租车分布示例

令状态向量表示 Chicago 和 Denver 两地的车辆数量：

下一时刻：

如果最初 100 辆车全在 Chicago：

如果最初全在 Denver：

无论从哪种初始分布开始，系统都趋于稳态：

稳态是 对应于特征值 的特征向量：

另一个特征值为 ，所以与稳态的偏差每一步缩小一半：

这正是特征值控制长期动态的一个直接例子。

来源说明