14-第13讲-连续先验与贝叶斯更新

1. 连续的假设空间

未知参数不一定只取有限个候选值。

未知成功概率

某过程每次成功或失败，成功概率 未知。可以对任意

提出假设 。

例如弯曲硬币模型：

未知等待率

等待时间

其中

未知。

未知正态参数

若

则参数对可以位于

连续参数需要用密度描述先验和后验，而不能为每个单点分配正概率。

2. 从少数离散假设开始

有三类硬币，正面概率为

数量比例为 ，因此先验为

随机选一枚，连续抛出 。对应似然为

未归一化后验为

总和为

所以后验为

观察到两个反面后，正面概率最低的硬币从先验 上升为后验 。

3. 五个离散假设

硬币正面概率为

数量比例为 ，所以先验分别为

观察 后：

	先验	似然	贝叶斯分子	后验
0.1		0.81	0.090	0.297
0.3		0.49	0.109	0.359
0.5		0.25	0.083	0.275
0.7		0.09	0.020	0.066
0.9		0.01	0.001	0.004
合计	1		0.303	1

后验体现先验与数据之间的折中： 最容易产生 ，但 的先验更大，最终后验略高。

4. 九个与九十九个离散假设

若候选值为

且先验质量与

成正比，则

其中 由

确定。观察 后，

讲义的九项表中 ，数据总概率约为 。

若进一步细化为

仍可用同一公式构造 99 行更新表。表格虽然很长，但每一行的结构相同：

随着候选网格越来越细，离散概率质量表自然过渡到连续参数密度。

5. 连续先验

若 为连续参数，先验由概率密度 描述：

单点 的先验概率为 0；微小区间 的概率近似为

例如

归一化给出

所以

该先验在 附近较高，表示事前认为接近公平的硬币更常见。

6. 记号整理

事件与随机变量

• 大写事件：，概率 ；
• 随机变量：；
• 具体数值：；
• 离散 PMF：；
• 连续 PDF：。

贝叶斯记号

事件式写法：

参数与数据值写法：

用于离散质量，或

用于密度。

密度必须与微元结合才成为概率。例如

是后验落在 附近微小区间的概率。

7. 连续全概率公式

离散假设下：

连续参数 、离散数据 时：

这个积分是贝叶斯分子的“总和”，也是数据 的先验预测概率或边缘似然。

8. 先验预测例题

硬币正面概率 的先验密度为

第一次抛出反面的条件概率为

所以先验预测概率为

该先验偏向较大的 ，其先验均值为 ，因此正面先验预测为 、反面为 。

一个可对应的情境是：生产工艺通常制造高度偏向正面的弯曲硬币，而历史工艺数据支持密度 。

这里观测变量 是离散的，但未知参数的假设空间 是连续的。

9. 连续参数的贝叶斯定理

设：

• 参数 的先验密度为 ；
• 数据 的似然为 。

后验密度为

分母为

若写成微小区间概率：

连续更新表可概括为：

参数范围	先验	似然	贝叶斯分子	后验
				除以

10. 弯曲硬币：一次正面、一次反面

未知正面概率 的先验为

第一次数据：正面

似然为 。证据为

后验为

第二次数据：反面

用 作新先验，似然为 。第二次数据的后验预测概率为

更新后

三条曲线的形状：

• 先验 ：随 线性上升；
• 正面后验 ：进一步偏向大 ；
• 再观察反面后的 ：在两端为 0，于内部达到峰值。

11. 平坦先验与 27 次抛掷

设

即均匀先验。27 次中观察到 15 次正面、12 次反面。

若数据指具体的一条正反面序列，其似然为

定义归一化常数

则后验密度为

若数据只记录“15 次正面”而不记录顺序，似然还含组合系数 。该常数同时出现在分子和分母，会在后验中抵消，所以后验形状完全相同。

该后验在 附近集中，相比平坦先验明显更窄。

12. Beta 分布

参数 的 Beta 分布定义在 上，密度为

当 为正整数时，

因此，只要归一化后的密度具有

的形式，它就是 。

前述例子可以识别为：

观察一次正面使 增加 1，观察一次反面使 增加 1。这一结构将在共轭先验中继续使用。

13. 离散网格到连续密度

九项、九十九项候选参数表并非与连续贝叶斯方法不同的理论。它们是同一“似然 × 先验，再归一化”机制的离散近似：

当网格间距缩小时：

• 单点概率质量趋于 0；
• 单位参数长度上的质量形成密度；
• 求和趋于积分；
• 离散后验表趋于连续后验曲线。

本讲要点

1. 连续参数用先验密度而非单点概率描述；
2. 连续全概率公式用积分替代离散求和；
3. 后验密度正比于“似然 × 先验密度”；
4. 归一化常数是数据的先验预测概率；
5. 离散数据与连续假设空间可以同时存在；
6. Beta 密度与伯努利数据具有简单的更新结构；
7. 越细的离散参数网格会趋近连续贝叶斯模型。