04-正交矩阵与最小二乘

第四部分：正交矩阵与最小二乘

本文件对应原 PDF 第 32-36 页。

本部分内容

• 4.1 四个基本子空间的正交性
• 4.2 向子空间投影
• 4.3 最小二乘近似（回归）：
• 4.4 正交矩阵与 Gram-Schmidt 正交化

4.1 四个基本子空间的正交性

若

则称实向量 与 正交。对复向量，应使用共轭转置：

正交向量满足勾股定理：

如果子空间 中的每个向量都与子空间 中的每个向量正交，就称 与 是正交子空间。

需要注意：房间中两面相互垂直的墙所代表的平面，并不是线性代数意义下的正交子空间，因为它们的交线同时属于两个平面；交线上的非零向量不可能与自身正交。

任意矩阵 的行空间与零空间正交。因为

表示 的每一行都与 正交，所以整个行空间都与 正交。因此：

同样，列空间 与左零空间 正交：

这给出了线性代数的整体图景：四个基本子空间组成两对正交补空间：

由于

每个 都能唯一分解为

其中 ，。

4.2 向子空间投影

投影到一条直线

把向量 投影到由非零向量 张成的直线上。投影点 ，其中

因此：

投影矩阵为

误差向量

与该直线正交。

投影到 的列空间

把 投影到 的列空间时：

并且

所以

其中子空间投影矩阵为

误差

与整个列空间 正交。

投影矩阵具有两个重要性质：

第一个等式表示再次投影时 不再移动；第二个等式表示正交投影矩阵是对称矩阵。

示例：投影到直线和平面

设

投影到 张成的直线上：

误差为

现在令

把 投影到 的列空间所形成的平面。正规方程为

即

解得

因此投影为

误差为

这个误差与 的两列都正交。相应的 投影矩阵为

4.3 最小二乘近似（回归）

如果方程 无解，我们寻找使误差平方最小的 ：

展开得

从微积分角度看，最优点处对 的各偏导数为零；从线性代数角度看， 是 在列空间 上的正交投影。

两种方法都得到正规方程：

然后最佳投影为

直线拟合

给定 个数据点

寻找最接近这些点的直线

当 时，通常有 个方程却只有两个未知数 ，所以原方程组一般无精确解：

写成矩阵形式：

正规方程为

对上一节的三个数据点，正规方程是

解为

因此最佳拟合直线为

对应误差向量

4.4 正交矩阵与 Gram-Schmidt 正交化

设矩阵

的列向量为单位正交向量：

于是

如果 是方阵，则还有

这时 称为正交矩阵。

例如，矩形矩阵

满足 ，但因为它不是方阵，所以 。

而方阵

满足

两个正交矩阵的乘积仍然正交，因为

若

则对两边左乘 ，得到

矩阵形式为

Gram-Schmidt 过程

从线性无关向量 出发，构造单位正交向量 。

第一步：

第二步，从 中减去它在 方向上的投影：

第三步，从 中减去它在 两个方向上的投影：

Gram-Schmidt 过程产生 分解：

其中 的列单位正交， 为上三角矩阵。

例如：