03-概率论

本讲讨论实值离散随机变量与连续随机变量。

离散随机变量 由概率质量函数

给出，其中有限定义域 称为样本空间，并满足

例如，

这表示 以 的概率取值 ，以 的概率取值 。

连续随机变量 由概率密度函数

给出，并满足

本讲通常取 。例如，

表示 在区间 上均匀分布。

对集合 ，

随机变量的期望（均值）定义为

随机变量的累积分布函数定义为

若对所有集合 ，均有

则称 相互独立。

随机变量 相互独立，是指对所有集合 ，

若任意 时 与 独立，则称它们两两独立。相互独立比两两独立更强。

若

则称 不相关。

1.1 正态分布与对数正态分布

定义 1.1
给定 与 ，均值为 、方差为 的正态分布（高斯分布）记为

其概率密度为

练习 1.2
通过计算验证该分布的均值为 。

在股票市场建模中，假设股票价格的变化率服从正态分布，通常比假设价格本身服从正态分布更合理。对数正态分布适合描述这种情形：若随机变量的自然对数服从正态分布，则该随机变量服从对数正态分布。若正态分布的累积分布函数为 ，则相应对数正态分布的累积分布函数为 。

定理 1.3（变量替换）
设实值随机变量 的密度分别为 ，累积分布函数分别为 。假设二者可微，并存在函数 使

则

其中 称为雅可比因子。为避免不必要的技术细节，本讲假设有关函数均可微。

定义 1.4
参数为 的对数正态分布，其密度为

练习 1.5

1. 计算对数正态分布的期望和方差。提示：先计算 的情形，并利用上述 是概率密度这一事实简化计算。
2. 证明两个相互独立的对数正态随机变量之积仍服从对数正态分布。

课程中还会多次出现泊松分布与指数分布。这些分布连同正态和对数正态分布，都是指数族的例子。指数族的密度可用向量参数 写成

其中 ，而 为实值函数。

例如，对数正态密度可写成

取 ，可以令

指数族具有许多良好的统计性质。

本讲将重点讨论随机变量的两类统计性质：

1. 矩母函数。 随机变量的 阶矩为 。各阶矩包含重要的统计信息，矩母函数把它们编码进一个函数。
2. 长期或大尺度行为。 研究同一随机变量被反复独立试验时的结果。

2. 矩母函数

定义 2.1
随机变量 的矩母函数定义为

并非所有随机变量都存在矩母函数，因为右侧的和或积分可能不收敛。例如，对数正态分布在 时 发散，因而没有在零点邻域内存在的矩母函数。

“矩母函数”这一名称来自

若矩母函数存在，则可形式化展开为

定理 2.2

1. 若随机变量 的矩母函数相同，即对所有 有 ，则二者同分布。
2. 设 的矩母函数为 ，累积分布函数 连续。若随机变量序列 满足
   对所有 成立，则 依分布收敛到 ，即对所有实数 ，
   

本讲不证明该定理，证明见参考文献 [1]。

应谨慎理解第 1 部分：它并不表示“各阶矩相同”的任意两个随机变量必然同分布，因为矩母函数可能不存在。

3. 大数定律

定理 3.1（弱大数定律）
设 为独立同分布随机变量，均值为 ，方差为 ，并令

则对任意 ，

证明

由期望的线性性，

故 。再计算方差：

由 相互独立，交叉项期望为零，因此

又因为

所以由切比雪夫不等式，

证毕。

上述定理是很弱的形式：

1. 条件可以放宽，结论仍成立；
2. 在同样假设下还能得到更强的结论，即强大数定律。

更多内容见参考文献 [1]。

例 3.2：赌场
玩家与赌场对赌的游戏，例如轮盘赌，通常被设计成在玩家采用最优策略时赌场仍有约 1%—5% 的优势。同时，单局结果的标准差相对这点平均优势很大。因此从玩家角度看，短期内似乎任何结果都可能发生，也有合理机会获利；但从赌场角度看，只要每局结果足够独立，大数定律就意味着长期经营将获利。

这不适用于玩家彼此对局的游戏，如扑克。此时赌场通常通过对每局收取费用获利。

4. 中心极限定理

大数定律研究

若每个 的均值为零，则 的均值也为零。考虑标准化后的随机变量

的均值为零、方差为 ，与单个 相同。它的分布是否也与 相似？下面的定理给出一个出人意料而普适的答案。

定理 4.1（中心极限定理）
设 独立同分布，均值为 ，方差为 ，矩母函数为 。则当 时，

依分布收敛到正态分布 。

证明

用 替换 ，可不失一般性地假设 。此时

由于 相互独立，

利用矩母函数在零点的展开，

因此

右侧正是 的矩母函数，所以由定理 2.2， 依分布收敛于 。证毕。

例 4.2：估计随机变量的均值
假设观测到随机变量 的 个独立样本 ，并希望估计 的均值。一个自然估计量是

本身也是随机变量。大数定律说明它收敛到真实均值；中心极限定理则说明经适当中心化后 的渐近分布。后续课程将讨论为何样本均值在某些分布下合理，以及为何在另一些分布下它未必是最佳选择。

参考文献

[1] R. Durrett, Probability: Theory and Examples, 第 3 版。