第七部分：奇异值与奇异向量
本文件对应原 PDF 第 48-55 页。
本部分内容
- 7.1
中的奇异向量与 中的奇异值 - 7.2 经济型 SVD、完整 SVD，以及由
构造 - 7.3 SVD 的几何意义：旋转—伸缩—旋转
- 7.4
是最接近 的秩 矩阵：主成分分析 - 7.5 计算对称矩阵的特征值与一般矩阵的奇异值
- 7.6 用 SVD 压缩图像
- 7.7 正交性的胜利
7.1 奇异向量与奇异值
奇异值分解展示了一个重要事实：矩阵
例如：
取
它们相互正交，并且
两个输出向量也相互正交。
把输入向量除以
其中
因此：
在本例中：
7.2 经济型 SVD、完整 SVD 与构造方法
设
经济型 SVD
只保留与非零奇异值对应的
其中
完整 SVD
继续补全到
其中
均为方形正交矩阵。
由
从
可得
因此：
也就是说：
是 的单位正交特征向量； 是 的单位正交特征向量； - 非零特征值都是
。
对
这些
特征值与最大奇异值
对方阵
因为若
特征值和奇异值可以非常不同。例如：
的三个特征值全为
矩阵秩为
对于第 7.1 节的矩阵：
并且
7.3 SVD 的几何意义：旋转—伸缩—旋转
奇异值分解
把线性变换分成三步：
：把输入空间旋转或反射到右奇异向量坐标； ：沿各坐标轴按 伸缩； ：把结果旋转或反射到输出空间。
因此可把 SVD 记为：
对二阶矩阵：
可写成
原矩阵中的四个数
单位圆上的输入向量经过
一般的
个平面旋转参数描述。
7.4 最优低秩近似与主成分分析
设
其中
对任意
Eckart-Young 定理指出，
在谱范数下：
在 Frobenius 范数下：
主成分分析
设
离数据最近的一维直线方向是第一左奇异向量
- 协方差矩阵
的最大特征值对应的特征向量； - 数据矩阵
的第一左奇异向量； - 第一主成分方向；
- 捕获数据方差最多的方向。
数据的总方差为协方差矩阵全部特征值之和。若忽略公共比例因子
7.5 计算特征值与奇异值
数值计算通常分两步进行。
第一步：化为带状形式
对称矩阵
相似变换保持特征值不变。
一般矩阵
左右正交变换保持奇异值不变。
第二步：QR 迭代
对三对角矩阵执行 QR 算法。每一步先作 Gram-Schmidt 型分解：
然后把乘法次序反转：
由于
所有
原讲义中的二阶示例展示了一个非对角项从
SVD 的数值算法采用相似思想。Golub-Kahan 算法先把矩阵化为双对角形式，再迭代使奇异值出现在主对角线上。
7.6 用 SVD 压缩图像
图像可以看成像素矩阵。矩阵的秩越低，越容易用少量数据表示。
例如，一面只有三条水平色带的旗帜矩阵：
可以写成
这是秩一矩阵，压缩效果极好。
相反，三角形状的下三角矩阵
具有多个较大的奇异值，低秩压缩效果较差。
对一幅
原始表示需要
个像素值； 保留
个奇异值时，经济型 SVD 需要 个数；
保留
个奇异值时，只需 个数。
保留最大的奇异值及其奇异向量，就能保存图像中最重要的结构；舍弃较小奇异值则损失较细微的细节。实际图像编码还会结合量化、颜色空间转换等技术。
7.7 正交性的胜利
正交性贯穿线性代数的主要结构：
正交矩阵保持长度与内积：
正交矩阵的所有整数次幂，以及正交矩阵之间的乘积，仍为正交矩阵。
若
，Householder 反射 同时是正交矩阵和对称矩阵。
对称矩阵具有单位正交特征向量：
每个矩阵都具有单位正交的左右奇异向量：
若
则伪逆为
其中
把每个非零 替换为 。 极分解把矩阵写成
即正交矩阵与对称正半定矩阵的乘积。
Gram-Schmidt 过程产生
即正交矩阵与上三角矩阵的乘积。
Fourier 级数使用正交函数：
$$
f(x)\sum_k
\bigl(
a_k\cos kx+b_k\sin kx
\bigr).
$$
SVD 的整体图景是：
行空间中的单位正交向量
； 列空间中的单位正交向量
； 矩阵把它们逐一对应：
零空间方向
被映射为零。
因此，SVD 把任意矩阵化为相互独立的正交输入—输出通道。
