01-前言与线性代数的基本思想

目录

• 前言
• 教材、ZoomNotes 与视频课程
• 三大矩阵分解：LU、QR 与 SVD
• 第一部分：线性代数的基本思想
  • 1.1 向量的线性组合
  • 1.2 点积、长度与夹角
  • 1.3 矩阵乘向量
  • 1.4 矩阵的列空间与行空间
  • 1.5 线性相关列与线性无关列
  • 1.6 矩阵乘法
  • 1.7 将 分解为 ：列秩 行秩
  • 1.8 秩一矩阵

前言

“ZoomNotes”这个书名表明，这些讲义写于 2020 和 2021 年，但它们并不只适用于在线授课。我希望这些讲义能够帮助教师和学生以一种条理清晰的方式理解线性代数：从向量到矩阵，再到子空间和基。“线性无关”是本课程的关键思想，因此它很早就出现了——从整数组成的向量开始。

我希望正在规划线性代数课程的教师，以及自主阅读的学生，都能看到这些讲义。

线性代数令人愉快的一面，是矩阵具有极其丰富的类型：对角矩阵、三角矩阵、对称矩阵、正交矩阵，等等。如今，组织这些知识的基本原则已经变成了各种矩阵分解，例如

即下三角矩阵与上三角矩阵的乘积。消元的思想——通过在矩阵中引入零元素来简化方程 ——必须尽早出现。但请不要把所有时间都花在这些计算上，线性代数中还有太多精彩的思想。

读者可能知道我在 MIT OpenCourseWare 上的视频课程。数学课程 18.06 可以在 ocw.mit.edu 和 YouTube 的 mitocw 频道观看。这些课程能够帮助大家，我深感欣慰。现在我意识到，讲义能够以另一种方式提供帮助：你会很快形成对整门课程的总体认识——学科结构、自然次序下的关键主题，以及使线性代数如此美妙的相互联系。

这一结构也是 Wellesley-Cambridge Press 出版的两本教材的基础：

• Introduction to Linear Algebra（《线性代数导论》）
• Linear Algebra for Everyone（《人人都能学的线性代数》）

我并不试图在这里讲授这两本书中的每一个主题，但我确实希望讲到特征值与奇异值！方阵的特征向量基，以及任意矩阵的奇异向量基，能够以消元法无法做到的方式，把你带到矩阵的核心。

本讲义最后几章延伸到第三本书和第二门数学课程 18.065，其视频同样发布于 OpenCourseWare：

Linear Algebra and Learning from Data（《线性代数与数据学习》，Wellesley-Cambridge Press，2019）。

这里讨论的是“深度学习”，它并非完全线性。系统利用训练数据 （例如手写数字图像）和矩阵权重 ，构造学习函数 。分段线性的 ReLU 函数在 中扮演着神秘却至关重要的角色。于是，对系统从未见过的新数据 ， 也可以给出很接近的结果。

学习函数 源于线性代数、优化、统计与高性能计算。我们的目标，是在一定程度上理解它为什么能够成功。

最重要的是，我希望这些 ZoomNotes 能帮助你教授和学习线性代数。这门学科有着极其广泛而有价值的用途，而它所依赖的基本思想，每个人都能够理解。

谢谢。
Gilbert Strang

教材、ZoomNotes 与视频课程

相关教材：

• Introduction to Linear Algebra，第 5 版（2016）
• Linear Algebra and Learning from Data（2019）
• Linear Algebra for Everyone（2020）
• Differential Equations and Linear Algebra（2014）
• ZoomNotes for Linear Algebra（2021）

相关课程与视频：

• MIT 数学 18.06、18.06SC：线性代数
• “A 2020 Vision of Linear Algebra”（《2020 年视角下的线性代数》）
• MIT 数学 18.065：线性代数与数据学习
• MIT 数学 18.085、18.086：计算科学与工程
• Strang 与 Moler：微分方程与线性代数

三大矩阵分解：LU、QR 与 SVD

正交矩阵

它的列向量构成一组正交基。

上三角矩阵

三大分解为：

1. ：高斯消元；
2. ：Gram-Schmidt 正交化；
3. ：奇异值分解。

第一部分：线性代数的基本思想

1.1 向量的线性组合

一个三维向量

有三个分量 。例如

对应三维空间 中的一个点，也可以看作从 指向 的箭头。

我们可以把向量相加，也可以用数（称为标量）乘向量：

最后一个向量称为零向量。

、 和 都是线性组合。例如：

当 取遍所有实数时，两个通常不共线的向量 的全部线性组合 会充满 中的一个平面。三个合适向量的全部线性组合 则会充满整个三维空间。

有时，一个非平凡的线性组合会得到零向量，这时这些向量线性相关。例如：

只能填满一条直线，因为第二个向量是第一个向量的两倍。

同样，

只能填满一个平面，而不能填满 ，因为

第三个向量没有提供新的方向。

1.2 点积、长度与夹角

点积定义为对应分量乘积之和：

点积满足交换律：

向量长度的平方为

例如：

这正是勾股定理 。在三维中：

由点积的分配律，

并有三角不等式：

类似地，

点积揭示了 与 的夹角 ：

因为 ，所以得到 Cauchy-Schwarz 不等式：

若 ，则两向量垂直。例如：

所以它们的夹角为 。

而

故夹角为 。

1.3 矩阵乘向量

计算 有“行方法”和“列方法”。

行方法

把向量 分别与 的每一行做点积：

例如：

列方法

是 的各列的线性组合：

当 时，

数值计算时，行方法（点积）往往更直接；理解向量结构时，列方法（列的线性组合）更重要。两种方法使用相同的乘加运算，只是次序不同。

单位矩阵对所有 满足 。三阶单位矩阵的列空间是整个 。

如果 的所有列都是某个非零列的倍数，则 是一条直线；两个线性无关向量的全部组合则形成一个平面。

1.4 矩阵的列空间与行空间

的列空间包含 的各列的所有线性组合。所有向量 （当 取遍所有可能值时）充满列空间 ，它可能是一条直线、一个平面或更高维子空间。

列空间对数乘和加法封闭：

• 若 ，则任意标量 都有 。因为 蕴含 。
• 若 ，则 。因为 、 蕴含 。

下列矩阵的列空间都是整个 ：

下列矩阵的列空间则是二维空间中的直线：

零矩阵

的列空间只包含一个点，即零向量。

的行空间包含 的各行的所有线性组合。为了统一使用列向量，可将 转置，使它的行成为 的列。因此：

例如，

的列空间是 中沿 方向的一条无限直线。

的行空间和列空间都是平面，而不是整个 。

的行空间和列空间都是整个 。

矩阵

的列空间是 ，行空间是 中的二维平面。

1.5 线性相关列与线性无关列

若 的某一列可以表示成其他列的线性组合，则称 的列线性相关。等价地：

存在某个非零解 。

例如：

的列都线性相关。

• 的第 2 列是第 1 列的 2 倍；
• 有一个零列，所以 ；
• 有三个列向量却都位于二维空间中，因此必定线性相关。

如果任何一列都不能表示成其他列的线性组合，则称这些列线性无关。等价地：

例如：

都具有线性无关的列。

对于任意方阵：

并且，一个关键结论是：

1.6 矩阵乘法

矩阵相乘有四种理解方式。第一种通常最适合手工计算，另外三种每次产生一个完整向量或一个简单矩阵。

方法一：行乘列

的第 行与 的第 列做点积，得到 的第 个元素：

例如左上角元素为

方法二：矩阵乘 的一列

乘 的第 列，得到 的第 列。这相当于组合 的各列：

这是理解矩阵乘法最好的层次：线性组合。

方法三： 的一行乘矩阵

的第 行乘 ，得到 的第 行。这相当于组合 的各行：

方法四：列乘行（外积）

把这些秩一矩阵相加，就得到

方法一中的点积称为内积；方法四中的“列乘行”称为外积。

如果 是 矩阵， 是 矩阵，四种方式都使用 次乘法。当 都是 方阵时，普通矩阵乘法使用 次乘加运算。

矩阵乘法最重要的规则是结合律：

分块矩阵也可相乘，只要各分块的尺寸匹配：

1.7 将 分解为 ：列秩 行秩

第一步：构造

包含 的前 个线性无关列；把 中线性相关的列删去。

1. 若 的第 1 列非零，把它放入 ；
2. 若第 2 列不是第 1 列的倍数，把它放入 ；
3. 若第 3 列不是前两列的线性组合，把它放入 ；
4. 依此类推：若第 列不能由前面的独立列线性表示，就把它放入 。

第二步：构造

的第 列，要用 的各列线性表示出 的第 列。

例如：

的前两列直接进入 ，而第 3 列满足

因此：

有 2 列， 有 2 行。矩阵 的列秩都是 2；由定理，它们的行秩也都是 2。

线性代数的第一个重要定理是：

列空间的维数、行空间的维数和矩阵的秩相等：

若 为 矩阵，则

1.8 秩一矩阵

秩一矩阵可以分解成“一列乘一行”。例如：

如果 的所有列都是某一个列向量的倍数，那么它的所有行也都是某一个行向量的倍数，因此

此时行空间是一条直线，列空间也是一条直线。

每个秩一矩阵都能分解成一个列向量与一个行向量的乘积；每个秩为 的矩阵都能表示成 个秩一矩阵之和。这正是 的列与 的行进行外积并求和的结果。

例如：

如果矩阵从零行或零列开始，则改看后面的非零行或非零列。

秩一矩阵是构造所有矩阵的基本模块。线性代数中的关键分解都会把矩阵表示为若干“列乘行”之和：