12-第11讲-贝叶斯更新与离散先验

1. 本讲内容

• 从先验概率更新到后验概率；
• 用概率树和表格组织贝叶斯计算；
• 已知离散先验或基准率时的推断；
• 逐次更新；
• 后验预测。

2. 从经验中学习：成功率之外还有样本量

若只告诉我们三种治疗的治愈率为 、、，看似第一种最好。但补充样本量后：

• 治疗 1：试验中治愈 ；
• 治疗 2：试验中治愈 ；
• 标准治疗：临床实践中治愈 。

判断便不再只取决于样本比例。小样本中的 具有很大不确定性；大样本的 则估计得非常精确。

统计推断必须同时考虑：

• 观测成功比例；
• 样本量；
• 数据收集方式；
• 先验信息；
• 决策损失与风险。

3. 四面骰还是六面骰

袋中有两类骰子：四面骰与六面骰。随机取出一枚并掷一次。

假设为

如果掷出 5 或 6，四面骰不可能产生数据，所以必为六面骰。但若掷出 1～4，两个假设都有正似然，结论还要依赖袋中两类骰子的比例。

例如袋中只有 1 枚四面骰和 999 枚六面骰，掷出 3。先验为

似然为

所以

尽管四面骰掷出 3 的似然较大，极低的先验概率仍使其后验概率只有约 。

4. 贝叶斯更新术语

贝叶斯定理为

各项含义：

• ：数据；
• ：假设；
• ：似然；
• ：先验概率；
• ：后验概率；
• ：数据的总概率，也称证据或边缘似然。

若假设 构成一个划分，则

表格计算通常依次列出：

假设	先验	似然	未归一化后验	后验
			两者乘积	除以列和

5. 疾病筛查

某疾病患病率为 。筛查测试：

• 假阳性率 ；
• 假阴性率 。

令

先验为

似然为

阳性的总概率为

因此

贝叶斯更新表为：

假设	先验	阳性似然	分子	后验
患病	0.005	0.99	0.00495	0.1992
未患病	0.995	0.02	0.01990	0.8008
合计	1		0.02485	1

完整似然表还包括阴性数据：

假设
患病	0.99	0.01
未患病	0.02	0.98

测试本身很准确，但低患病率使大多数阳性来自数量庞大的健康人群。

6. 五种骰子的离散先验

有五枚公平骰子，面数分别为

等概率选择一枚，因此每个假设的先验都是 。

似然表为：

假设	掷出 13	掷出 5	掷出 9
	0	0	0
	0		0
	0		0
	0

数据：掷出 13

只有二十面骰能产生 13，所以

其余后验概率均为 0。

数据：掷出 5

未归一化后验依次为

总和为

归一化后：

假设	后验概率
	0

数据：掷出 9

只有十二面骰和二十面骰可能。未归一化后验为

归一化得到

7. 逐次贝叶斯更新

假设选定一枚骰子后连续掷骰，条件于骰子类型时，各次结果独立。

先掷出 5，再掷出 9

第一次掷出 5 后的后验可作为第二次更新的先验。第二次掷出 9 会排除 4、6、8 面骰，只剩：

归一化后

先掷出 9，再掷出 5

得到相同结果。因为在给定骰子类型时，

且乘法可交换。于是：

• 分两步更新；
• 把两次数据合并后一步更新；
• 改变独立观测的处理顺序；

三种方式都产生相同后验。

8. 一步更新与两步更新

把数据直接记为

则

乘以先验 后仍为 与 ，所以后验仍为 与 。

数据的总概率为

9. 后验预测

除了比较假设，还可以预测下一次观测。

令 为第一次掷出 5， 为第二次掷出 4。

第一次掷出 5 的先验预测概率为

观察到 5 后，使用前述后验权重。下一次掷出 4 的后验预测概率为

这是对参数不确定性取后验加权平均。不是先选择“最可能骰子”再仅用该骰子预测，而是保留所有仍可能的假设。

10. 表格法的通用流程

对有限离散假设：

1. 列出互斥且完备的假设；
2. 填入先验 ；
3. 填入数据似然 ；
4. 相乘得到未归一化后验；
5. 对该列求和得到证据 ；
6. 每项除以证据得到后验；
7. 若有新数据，把当前后验作为新先验；
8. 若要预测未来数据，对各假设下的预测概率作后验加权。

本讲要点

1. 后验概率正比于“似然 × 先验”；
2. 基准率能显著改变对同一数据的解释；
3. 贝叶斯更新表把计算分为相乘与归一化两步；
4. 条件独立数据可以逐次更新，也可一次合并更新；
5. 更新顺序不影响最终后验；
6. 后验预测应对所有假设的预测分布作加权平均；
7. 小样本中的极高成功率不一定比大样本中的稍低成功率更可信。