1. 两种推断路径
贝叶斯与频率学派都使用似然
当假设先验
当先验未知时：
- 贝叶斯方法根据现有知识构造先验并计算后验；
- 频率学派不为固定假设分配概率，而从似然和重复抽样性质推断。
2. 方法比较
贝叶斯推断
- 明确使用先验；
- 在概率公理内逻辑连贯；
- 后验概率可直接解释为当前模型下对参数或假设的不确定性；
- 先验选择可能带有主观性；
- 结论依赖先验、似然和模型是否合理。
频率学派推断
- 不需要参数先验；
- 在协议固定时，不同分析者通常得到同一数值答案；
- 通过长期重复抽样性质控制错误率；
- 条件错误概率经常被误读为假设为真的概率；
- 必须在实验前明确抽样、停止和分析协议。
预先规定协议既是优点，也是限制：
- 优点：抑制事后选择和错误率膨胀；
- 限制：即使观察数据相同，不同停止规则也可能产生不同频率学派结论。
3. 哪个显著性检验更可能正确
三个检验均使用
- 实验 1：
，拒绝 ； - 实验 2：
，拒绝 ； - 实验 3：
，不拒绝 。
仅凭这些
也没有提供：
- 假设基准率；
- 备择下的效应大小分布；
- 检验功效；
- 模型偏差；
- 研究设计质量。
因此答案是“无法判断”。
4. 停止规则问题
怀疑硬币偏向正面，显著性水平为
比较两个实验：
- 固定抛 5 次，报告完整序列；
- 一直抛到首次反面，报告完整序列。
实验 1：固定样本量
令
在公平硬币零假设下，
右侧备择支持较多正面。若拒绝域含
所以最大的非随机保守拒绝域为
实际显著性
触发拒绝的唯一序列是
实验 2：抛到首次反面
令
在公平硬币下，
右尾概率为
触发拒绝的序列包括
5. 同一数据
固定五次实验
正面数为 4，不在
右尾概率为
抛到首次反面
首次反面前有 4 个正面，落入
右尾概率为
观察序列相同，但抽样和停止协议不同，因此零分布不同，频率学派结论也不同。
6. 同一数据的贝叶斯更新
使用平坦先验
序列
成正比。后验为
后验均值：
硬币偏向正面的后验概率为
在遵循似然原则的贝叶斯分析中，与参数无关的停止规则因素会在归一化中抵消，因此同一似然产生同一后验。
这并不意味着停止规则永远无关：若停止机制本身依赖未建模的信息、存在选择性报告或改变了似然，它仍必须纳入模型。
7. 事后延长样本与重新开始
所有实验声称使用
实验 1：预先固定 50 次
按设计完成 50 次并得到
实验 2：先看 50 次，再追加 50 次
前 50 次得到
如果原设计没有预先规定这种中期查看与继续规则，却仍按固定
真实错误率为
需要两个相关中期统计量的联合分布计算。它大于 0.05；在典型正态双侧两次查看模型中约为 0.08，而精确值依具体检验而定。
若使用预先设计的组序贯边界或 alpha spending 方法，则可把整体错误率控制在 0.05。
实验 3：不显著后重新做独立的 50 次
第一次
若策略是“任一次显著就发表”，两次独立检验至少一次假阳性的概率为
只报告第二次显著结果而隐藏第一次，是选择性报告。
8. 发表显著结果与错误比例
若期刊只发表
需要知道：
- 研究中的零假设有多少真实；
- 真效应研究的功效；
- 研究者是否多重检验或选择性报告；
- 发表机制是否偏向显著结果。
Jerry：所有治疗都无效
所有
- 约
的规范实验得到显著结果并发表； - 已发表结果
都是第一类错误。
Jen：所有治疗都有效
所有
- 发表比例等于检验功效；
- 已发表结果中的第一类错误比例为 0；
- 未发表的非显著结果是第二类错误。
9. 独立性卡方检验复习
讲义再次给出：
| 教育 | 结婚一次 | 多次结婚 | 合计 |
|---|---|---|---|
| 大学 | 550 | 61 | 611 |
| 未上大学 | 681 | 144 | 825 |
| 合计 | 1231 | 205 | 1436 |
使用显著性水平
因此拒绝独立性零假设，但不能由此单独作出因果结论。
10. 实务上的共同要求
无论采用哪一流派，都应：
- 在分析前明确问题和数据生成过程；
- 报告完整实验与停止规则；
- 避免隐藏多重尝试；
- 检查模型假设；
- 同时报告效应量与不确定性；
- 进行先验或分析敏感性检查；
- 区分数学计算与科学解释。
本讲要点
- 贝叶斯方法使用先验，频率方法依赖重复抽样协议；
值不能比较不同研究结论为真的概率； - 相同数据在不同停止规则下可有不同频率学派零分布；
- 相同似然与相同先验产生相同贝叶斯后验；
- 未预先规划的中期查看会膨胀第一类错误；
- 重复实验直到显著会产生多重检验问题；
- 显著研究中的错误比例取决于假设基准率与功效，而不只取决于
。
