09-第7讲-联合分布协方差与相关

1. 联合分布

设 是定义在同一样本空间上的随机变量。

离散情形的联合概率质量函数为

连续情形的联合概率密度函数为

两种情形的联合累积分布函数统一定义为

2. 离散联合 PMF

独立掷两枚公平六面骰，令 为第一枚点数、 为第二枚点数。对任意 ，

联合概率表的 36 个格子都为 。这张二维表既显示各变量的可能值，也显示每个成对结果的概率。

第一枚点数与总点数

令

则 只能取满足

的格子。在这些格子中

其他格子概率为 0。例如

3. 连续联合密度

若 、，则 位于矩形

小矩形 内的概率近似为

合法联合密度满足

密度可以大于 1，因为它本身不是概率。

处理联合密度需要把二重积分理解为二维求和。矩形区域可用迭代积分计算；若密度为常数 ，任意区域 的概率就是

4. 由区域表示事件

两枚骰子的离散事件

令

事件包含

共有 10 个等可能格子，因此

单位正方形中的连续事件

若 在 上均匀，联合密度为 1。事件 是对角线 下方的三角形，面积为 ，所以

边界 的面积为零，不影响结果。

5. 联合 CDF

若取值范围左下角为 ，则

在适当光滑条件下，

联合 CDF 对每个坐标均单调不减，在取值范围左下方为 0，在右上方趋于 1。

6. 边缘分布

联合表中沿行或列求和，可得到单个变量的边缘 PMF：

两枚骰子例子中，第一枚点数的边缘分布为

总点数 在 上的概率依次为

连续情形通过“积掉”另一个变量获得边缘密度：

边缘 CDF 也可由联合 CDF 得到：

7. 联合密度综合题

设 ，联合密度为

(a) 验证合法性

在单位正方形上 ，且

所以它是合法密度。

(b) 事件

(c) 联合 CDF

对 ，

范围外的 CDF 按边界截断。例如 或 时为 0， 时为 1。

(d) 的边缘 CDF

因此

连续变量在端点处的严格与非严格不等号没有区别。

(e) 的边缘密度

再次得到

(f) 离散联合 CDF

在两个公平骰子的联合表中，

可取的 有 ，可取的 有 ，共 12 个格子，因此

8. 随机变量的独立性

事件 独立的定义是

随机变量 独立，当且仅当联合分布可分解为边缘分布的乘积。

CDF 形式：

离散 PMF 形式：

连续 PDF 形式：

独立掷出的两枚骰子点数 满足

所以独立。

但第一枚点数 与总点数 不独立。例如

而两项边缘概率都为正，不能相乘得到 0。

判断密度能否分解

以下密度均定义在适当矩形上并已归一化：

(i) 可写为 ，(iii) 可写为 ，所以两者可分解。

(ii) 可写为

其中 仍耦合在 中，不能写成只含 与只含 的函数乘积。

因此独立的是 (i) 和 (iii)。

9. 协方差

协方差度量两个随机变量共同变化的线性趋势。设均值分别为 ，定义

• 正协方差： 高于均值时， 通常也高于均值；
• 负协方差： 高于均值时， 通常低于均值；
• 零协方差：中心化后乘积的正负贡献相互抵消，没有净线性趋势。

常用性质：

若 独立，则

反向命题不成立。

10. 零协方差但不独立

联合概率表为

		0	1
0	0		0
1		0
				1

由对称性

在所有有正概率的格子中， 的正负贡献相消，所以

因此

但 不独立，因为

而

事实上这里 ，存在完全确定的二次关系。协方差只测量线性关系，可能完全漏掉二次或更高阶关系。

11. 相关系数

相关系数是去除尺度后的协方差：

它等于标准化变量之间的协方差，因此：

1. 无量纲；
2. ；
3. 当且仅当 几乎必然成立且 ；
4. 当且仅当该线性关系中 。

相关为零只表示没有线性相关，不等于独立。

12. 重叠的抛硬币计数

公平硬币独立抛 11 次。令

两组都包含第 6 次抛掷。令 为第 次是否正面的指标，则

不同次抛掷的协方差为零，唯一公共项是 ，所以

又因

故

13. 相关不代表因果

讲义给出的现实相关例子包括：

• 冰淇淋消费量与泳池溺亡人数随时间正相关；
• 某些历史职业的死亡平均年龄较低；
• 致死酒吧斗殴中，挑起冲突者死亡的比例很高；
• 激素替代疗法的观察数据曾与较低冠心病率相关。

相关可能来自共同原因、选择偏差、反向因果或混杂变量。例如炎热天气同时增加冰淇淋消费和游泳活动，并不表示冰淇淋导致溺亡。

经验上观察到共同变化是因果关系的必要证据之一，却远非充分条件。因果判断还需要研究设计、时间顺序、机制和对混杂因素的控制。

14. 重叠和的散点图

令独立同分布变量为 ，并构造两个各含 项、共有 项的和。例如

这是 的情形。若每个 的方差为 ，则

所以

原讲义散点图展示：

• ：理论相关 ，样本相关约 ；
• ：理论相关 ，样本相关约 ；
• ：理论相关 ，样本相关约 。

样本相关不会恰好等于总体相关，但样本量大时通常接近。共享项占比越大，散点云的正线性趋势越明显。

15. 一般的重叠抛硬币问题

公平硬币抛 次。令

两组只共享第 次抛掷，因此

无论 多大都不改变。

另一方面，

所以

当 时，

协方差保持不变，但相对于两个总和越来越大的自身波动，公共一次抛掷的影响变得很小，因此相关趋于零。

本讲要点

1. 联合 PMF/PDF 描述随机变量对的完整分布；
2. 对联合分布求和或积分可得到边缘分布；
3. 独立性等价于联合分布分解为边缘分布乘积；
4. 协方差度量共同线性变化，相关系数进一步消除尺度；
5. 独立推出零协方差，但零协方差不推出独立；
6. 相关不等于因果；
7. 重叠随机和的协方差由公共项决定。