02-线性代数

矩阵可以定义为按某种方式排列的一组数，也可以看作从 到 的算子，即线性变换。但由一组现实数据定义的线性变换具有什么含义？

例如，考虑一个 矩阵：行以公司为索引，列以日期为索引，元素 表示第 家公司在第 个日期的股票价格。这是由现实数据定义的矩阵。我们能否解释该矩阵所定义的变换？

先复习矩阵的特征值与特征向量。向量内积记为

其中向量均理解为列向量。

定义 1
设 是 实矩阵。若非零向量 与复数 满足

则称 为 的特征向量， 为 的特征值。

矩阵是否总有特征值和特征向量？实数 是 的特征值，当且仅当存在非零向量 使

因此必有

把 看作变量时， 是 次多项式。由代数基本定理，一个 矩阵至少有 1 个、至多有 个互异的复特征值。

矩阵作用于其特征向量时，效果等同于标量乘法。因此，把矩阵看作算子时，特征向量给出了矩阵的“重要方向”。

定义 2
若存在可逆矩阵 和对角矩阵 ，使

则称矩阵 可对角化。

由可逆矩阵进行共轭变换，等价于改变底层向量空间的基。因此，矩阵可对角化，意味着存在一组基，使它在该基下成为对角矩阵；也就是说，它在这组基的各个方向上仅执行伸缩。

若

则称 为对称矩阵。本课程会反复遇到对称矩阵，因此其特征值和特征向量尤其重要。

命题 3
设 为实对称矩阵，则：

1. 的所有特征值均为实数；
2. 可被正交对角化，即存在正交矩阵 ，使
   

证明

（1）设 。则

另一方面，由 ，

所以 ，即 为实数。

（2）设 是 的一个特征值， 是对应的单位特征向量。定义

是 的子空间。对任意 ，

因此 在变换 下保持不变，且维数为 。取 的一组标准正交基 ，则 构成 的标准正交基。在此基下，

其中 是 对称矩阵。对 重复上述过程，即得 的正交对角化。证毕。

定理 4
若 为对称矩阵，则

右侧的最大值取遍 的所有特征值。

奇异值分解

对可对角化矩阵， 称为其特征值分解。对称矩阵总能这样分解，但一般的 矩阵呢？长方形的 矩阵呢？

奇异值分解（SVD）把特征值分解推广到了这些情形，使我们仍能借助对角矩阵理解一般矩阵。

定理 5
每个 矩阵 都可写成

其中：

• 是 正交矩阵；
• 是 对角形矩阵；
• 是 正交矩阵。

特征值分解与 SVD 都通过对角矩阵来理解原矩阵。特征值分解更强：它找出一组基，使矩阵在每个基方向上的作用都是标量乘法。SVD 则分别为定义域 和值域 找出一组基，使矩阵把前一组基的方向按标量伸缩后映射到后一组基的方向。

证明

设

则 的秩也是 。设其非零特征值为

对应的标准正交特征向量为 。补充向量 ，使其成为 的标准正交基。

对 ，令

当 时，

所以 正交。再补充 ，使其成为 的标准正交基，并令 时 。取

则

从而

证毕。

定义 6
的特征值之正平方根称为 的奇异值，通常按降序排列：

它们正是 的对角元素。

练习 7
证明：也可以通过矩阵 得到相同的非零奇异值。

回到“行代表股票、列代表日期”的数据矩阵：应当使用特征值分解，还是奇异值分解？由于这种数据矩阵通常不是方阵，SVD 更为自然。

推论 8（约化 SVD）
若 ，则每个 矩阵均可写成

其中 为 正交矩阵， 为 对角矩阵， 为 且各列标准正交的矩阵。

在完整 SVD 中，当 时， 的第 至第 列全为零。删去这些零列，并同时删去 中对应的列，不会改变乘积，因此得到约化 SVD。

练习 9
矩阵 和 是否唯一确定？

例 10
考虑

先计算

它的特征值为 和 ，所以 的两个非零奇异值为

对应的单位特征向量可取

再由

得到

因此

并且

原讲义本页的 PDF 文本层在 与 、以及左右奇异向量的记号上发生错位；这里依据矩阵维数和直接乘法恢复为一致形式。

定理 11（Perron–Frobenius）
若 是所有元素均严格大于零的 矩阵，则：

1. 存在一个正实特征值 ，使其他所有特征值 均满足
   
2. 对应一个各分量均为正数的特征向量；
3. 的代数重数为 1。

下面只给出对称矩阵情形的证明概要。

对称矩阵的特征值均为实数。设 为最大特征值， 为最小特征值。若

则性质 1 成立。

反设 。由定理 4， 的特征向量 使

在所有非零向量中达到最大。向量 的分量为实数，不失一般性，可令

由于 的所有元素均为正数，把 中任何负分量改为正号，会保持 不变，却使 增大。这与 已达到最大值矛盾。因此

类似地可以证明， 对应的特征向量 的所有分量必须非负。又因为 的元素严格为正，除非 ，否则 不可能含零分量。因此可取所有分量均为正的特征向量，性质 2 成立。

最后，若存在两个线性无关的单位特征向量 ，都对应于 ，则适当调整符号后， 必同时含有正分量和负分量。可是 仍是 的特征向量，这与上述“对应特征向量的分量必须同号”矛盾。因此 的重数为 1。证毕。

Perron–Frobenius 定理还能推广到更一般的非负矩阵类别。