Legendre 变换
定义函数
的 Legendre 变换（或 Legendre 对偶）为
当
时，可以从几何上描述 Legendre 对偶： 是函数 上斜率为 的切线与实轴相交的位置。我们可以让这条切线沿着 图像的凸包“滚动”，从而得到所有 的取值。 Legendre 对偶总是凸的吗？
的 Legendre 对偶是什么？在 0 处等于 0、在其他各处都等于 的函数，其 Legendre 对偶又是什么？ 与 的导数之间有什么关系？ 一个凸函数的 Legendre 对偶再取 Legendre 对偶，会得到什么？
“滚动切线”在高维中的对应物是什么？
提纲
- Legendre 变换
- 大偏差
回顾：矩母函数
设
为随机变量。 的矩母函数定义为 当
是离散随机变量时，可以写成 因而，
是可数多个指数函数的加权平均。 当
是连续随机变量时，可以写成 因而，
是连续统多个指数函数的加权平均。 总有
如果
且 ，那么 如果
以正概率同时取得正值和负值，那么当 时， 关于 至少以指数速度增长。
回顾：独立同分布随机变量之和的矩母函数
我们已经证明：如果
且
与 相互独立，那么 如果
是 的独立同分布副本，并且 那么
是什么？ 答案：
大偏差
考虑独立同分布随机变量
。当 时，我们能否证明
并且收敛速度是指数级的？
这可以看成弱大数定律的一种定量形式。经验平均
偏离其期望值 的可能性非常小；这里“非常”是指，其概率小于某个随 指数衰减的函数。
一般的大偏差原理
在更一般的框架中，大偏差原理用一个速率函数
，描述可测空间 上一族测度 在 时的极限行为。 速率函数是一个下半连续映射
集合
是闭集；如果这些集合还是紧集，就称该速率函数为“好”速率函数。
定义： 如果对所有
，都有 就称
以 为速率函数、以 为速度满足大偏差原理（LDP）。 直观理解： 当
时，在“ 附近”， 的概率密度函数趋于 0 的速度像 简单情形：
连续，且 是其内部的闭包。 问题： 如果把测度
替换成加权测度 那么
会怎样变化？ 是否应当把
替换成 呢？
那么是什么？
Cramér 定理
设
是经验平均 的概率律，其中
是 中独立同分布的随机向量，其概率律与 相同。 定义
的对数矩母函数为 其中
是 上的内积。 定义
的 Legendre 变换为 Cramér 定理：
以凸速率函数 满足大偏差原理。
理解 Cramér 定理
设
是经验平均 的概率律。
Cramér 定理：
以如下凸速率函数满足大偏差原理： 其中
这意味着，对所有
，概率 有如下渐近下界： 因而，在不计次指数误差时，
概率
还有如下渐近上界： 也就是说，在不计次指数误差时，
证明 Cramér 上界
回顾
为简单起见，假设
对所有 都有定义。这意味着 具有所有阶矩， 与 都严格凸，并且 与 的导数互为逆映射。只考虑 均值为零的情形也已经足够；这意味着 是 的最小值，而 是 的最小值。 我们要证明，在不计次指数误差时，
如果
是单点集 ，我们就可以找到与 对应的 ，从而 此时注意到
并且
取对数后除以
，得到 因而如所希望的那样，
对于一般的
：把它切分成有限多个部分，再分别估计每个部分？
证明 Cramér 下界
回顾
我们要证明，渐近地有
只需证明：对于每个给定的
，渐近地都有 思路是：选取某个
，用 对 的概率律加权，再归一化，得到一个期望值为给定点 的新测度。在这个新测度下，当 很大时， “典型地”落在 中，因此其概率为 1 的量级。 但是，为了使这件事成为典型事件，我们需要把测度修改多少？所需的修改因子不超过
