06-大数定律与独立性

回顾期望的定义

• 给定概率空间 和随机变量 （即从 到 的可测函数 ），记

• 如果 几乎处处成立，或者 与 的积分各自有限，那么期望总是有定义的。

强大数定律

• 定理（强大数定律）： 如果 是期望为 的独立同分布实值随机变量，并且

  是经验均值，那么

  几乎必然成立。

• “i.i.d.” 是什么意思？

• 答：相互独立且同分布（independent and identically distributed）。

• 好的，但在这里“独立”是什么意思？又该如何定义一个由相互独立随机变量构成的无穷序列？这真的可能做到吗？如果假设永远不可能满足，这个定理就几乎成了一条空洞的定理。顺便问一下，我们使用的是哪个测度空间和哪个 -代数？极限存在这一事件在这个 -代数中甚至是可测的吗？如果不可测，说它的概率为 1 又是什么意思？此外，为什么称它为“强”定律？是否还有弱大数定律？

两个事件、随机变量或 -代数的独立性

• 概率空间是三元组 ，其中 是样本空间， 是事件的集合（即 -代数），而

  是概率函数。

• 若

  则事件 与 相互独立。

• 若对所有 ，都有

  则随机变量 与 相互独立；也就是说，事件 与 相互独立。

• 若每当 且 时， 与 都相互独立，则两个 -域 与 相互独立。（当 和 是任意代数、半代数或其他可测集族时，这一定义也有意义。）

多个事件、随机变量或 -代数的独立性

• 称事件 相互独立，如果对每个 ，都有

• 问题：两两独立是否蕴含相互独立？

• 称随机变量 相互独立，如果对任意可测集 ，事件 相互独立。

• 称 -代数 相互独立，如果任意一组事件——从每个 -代数中各取一个——都相互独立。（当 是代数、半代数或其他可测集族时，这一定义也有意义。）

提纲

• 定义
• 背景结果

扩张到 -代数

• 定理： 如果 相互独立，并且每个 都是一个 -系统，那么

  相互独立。

• 证明的主要思想： 应用 - 定理。

Kolmogorov 扩张定理

• 任务：理解下面这段陈述的确切含义。 令 为所有由实数组成的可数序列

  的集合。令 为使映射 可测的最小 -代数。令 为一个概率测度，使得 是均值为 0、方差为 1 的独立同分布正态随机变量。

• 我们也可以询问由独立同分布抛硬币结果构成的序列，或者从其他某个空间中取得的独立同分布样本。

• 上述 是自然的乘积 -代数：它是由形如

  的“有限维矩形”所生成的最小 -代数。

• 问题：这个 -代数中包含哪些事物？事件“ 收敛到某个极限”又是否属于它？