AI 数学课程 · 第 52 课,共 180

最小二乘是一个投影问题

把最小二乘直线拟合推导为正交投影,用 NumPy 验证残差,并了解为什么求解正规方程优于构造显式逆矩阵。

分享这篇文章

假设模型只能为一组观测画出一条直线。哪条直线能给出最接近的预测?当目标以向量形式存储,而不是图上的点时,“最接近”又是什么意思?

普通最小二乘用几何同时回答这两个问题。它选择设计矩阵列空间中最接近目标向量的预测向量。两个向量之差就是残差,而残差垂直于拟合所使用的每个特征方向。

学完本课,你将能够把直线拟合写成矩阵问题,从残差正交性推导正规方程,手算一个小型拟合,用 NumPy 验证结果,并识别计算何时受秩或模型特征选择的限制。

学习目标: 在不依赖显式求逆的情况下推导正规方程的几何意义。

本课把第 025 课:不使用显式逆矩阵进行数值求解中“用求解器处理线性系统而不是求矩阵逆”的内容,与第 050 课:投影找到最近点和第 051 课:投影矩阵变换整个数据集连接起来。官方 Mathematics for Machine Learning 第 3.8 节提供课程上的依据。这里的数据、算术、视觉、NumPy 实验、AI 连接和评估题均为原创。

直线拟合变成预测向量的子空间

从 mm 个观测开始。第 ii 个观测有一个输入特征 xix_i 和一个数值目标 yiy_i。带截距的直线预测为

y^i=β0+β1xi,\hat y_i=\beta_0+\beta_1x_i,

其中 β0\beta_0 是截距,β1\beta_1 是斜率。y^i\hat y_i 上的帽子表示“预测”,而不是一个新的测量目标。

为了展示几何结构,把观测放入设计矩阵:

X=[1x11x2⋮⋮1xm]∈Rm×2.X= \begin{bmatrix} 1 & x_1\\ 1 & x_2\\ \vdots & \vdots\\ 1 & x_m \end{bmatrix} \in\mathbb{R}^{m\times 2}. β=[β0β1]∈R2.\beta=\begin{bmatrix}\beta_0\\\beta_1\end{bmatrix} \in\mathbb{R}^{2}. y=[y1y2⋮ym]∈Rm.y=\begin{bmatrix}y_1\\y_2\\\vdots\\y_m\end{bmatrix} \in\mathbb{R}^{m}.

XX 的第一列是全为 1 的列。它给模型提供了一个自由偏移量;没有它,直线就会被迫通过原点。矩阵乘法一次操作即可产生完整的预测向量:

y^=Xβ=β0[11⋮1]+β1[x1x2⋮xm].\hat y=X\beta=\beta_0 \begin{bmatrix}1\\1\\\vdots\\1\end{bmatrix} +\beta_1 \begin{bmatrix}x_1\\x_2\\\vdots\\x_m\end{bmatrix}.

所以,每条可能的直线预测都位于 XX 的两列所张成的空间中。这个张成空间是 Rm\mathbb{R}^{m} 的一个子空间,也就是观测空间。该空间中一点的坐标对应观测,而不是两个模型参数。

这是有限维欧氏几何中的结论。它不假设残差服从高斯分布、彼此独立,甚至不假设残差是“噪声”。这些假设在统计分析中可能很重要,但投影结论来自所选择的平方误差距离和特征列。

垂直的残差产生正规方程

如果 y^\hat y 是 col⁡(X)\operatorname{col}(X) 中的最近点,那么残差 r=y−y^r=y-\hat y 必须垂直于该子空间中的每个方向。特别地,它必须垂直于 XX 的每一列。把所有这些点积写在一起,就得到

XTr=0.X^{\mathsf T}r=0.

代入 r=y−Xβ^r=y-X\hat\beta:

XT(y−Xβ^)=0XTy−XTXβ^=0XTXβ^=XTy.\begin{aligned} X^{\mathsf T}(y-X\hat\beta)&=0\\ X^{\mathsf T}y-X^{\mathsf T}X\hat\beta&=0\\ \boxed{X^{\mathsf T}X\hat\beta=X^{\mathsf T}y}.& \end{aligned}

这就是正规方程。左边是一个 2×22\times2 矩阵乘以一个两项系数向量,右边是一个两项向量。它们不是统计学魔法,而是直角条件的代数形式。

为什么正交性给出最近点,而不只是给出一个碰巧通过点积检验的点?取任意另一个系数向量 β\beta,将它的预测与 y^\hat y 比较:

y−Xβ=(y−Xβ^)⏟r+X(β^−β)⏟列空间中的一个方向 col⁡(X).y-X\beta =\underbrace{(y-X\hat\beta)}_{r} +\underbrace{X(\hat\beta-\beta)}_{\text{列空间中的一个方向 }\operatorname{col}(X)}.

第一项与第二项垂直,因为 XTr=0X^{\mathsf T}r=0。因此勾股定理给出

∥y−Xβ∥22=∥r∥22+∥X(β^−β)∥22≥∥r∥22.\lVert y-X\beta\rVert_2^2 =\lVert r\rVert_2^2 +\lVert X(\hat\beta-\beta)\rVert_2^2 \geq\lVert r\rVert_2^2.

同一列空间中的另一个向量不可能超过这个拟合预测。如果 XX 的两列线性无关,系数也唯一。如果两列相关,那么即使多个系数向量描述同一个投影预测,投影预测本身仍然可以定义良好。

手算一个四观测值的直线拟合

使用四个观测值:

x=[0123],y=[1224].x=\begin{bmatrix}0\\1\\2\\3\end{bmatrix}, \qquad y=\begin{bmatrix}1\\2\\2\\4\end{bmatrix}.

这些点不完全落在一条直线上,因此残差的几何结构清晰可见。包含截距列时,

X=[10111213],X∈R4×2.X= \begin{bmatrix} 1&0\\ 1&1\\ 1&2\\ 1&3 \end{bmatrix}, \qquad X\in\mathbb{R}^{4\times2}.

第一个正交性检查有一个有用的解释:因为模型包含截距,残差之和为零。第二个检查说明残差与特征值之间不再有线性对齐。两者都不表示每个残差都很小,也不表示直线能推广到新的输入。

直线拟合分解出的目标向量分量视图逐项比较观测目标和拟合值。观测空间示意图把目标显示为设计子空间中的预测与一个正交残差之和。

逐坐标视图

观测目标、拟合预测和残差间隔 四个目标值由蓝线连接,四个拟合值由青绿色线连接。琥珀色虚线段把每个预测连接到对应目标,显示该观测的残差。-101234i = 0i = 1i = 2i = 3观测索引 i值
  • 目标 y
  • 预测 ŷ
  • 残差 r = y − ŷ

观测空间分解

目标等于拟合预测加正交残差 示意向量图显示拟合预测箭头沿水平设计子空间方向,残差箭头从其尖端竖直向上,目标箭头从原点指向最终点。直角标记表示残差垂直于拟合子空间。ŷry直角
分解中使用的四个坐标
ixᵢyᵢŷᵢrᵢ
001.00.9+0.1
112.01.8+0.2
222.02.7-0.7
334.03.6+0.4

正交性: Xᵀr = [0, 0]

残差平方长度: ‖r‖₂² = 0.70

右侧使用示意性的正交坐标表示 ℝ⁴ 中的向量。表格保留了精确的四个分量,因此视觉不会要求二维图形代替完整的观测空间。

用可执行的 NumPy 表示同一个投影

手算可以直接转换为一个小型 NumPy 程序。每行对应一个样本时,XX 的形状是 (m,2)(m,2),β\beta 的形状是 (2,)(2,),所以 X @ beta 的形状是 $(m,)。NumPy 的 [matmul` 文档](https://numpy.org/doc/stable/reference/generated/numpy.matmul.html)说明了这种有形状约束的矩阵乘法。

import numpy as np

x = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])

# A column of ones gives the line an intercept.
X = np.column_stack((np.ones_like(x), x))
normal_matrix = X.T @ X
normal_rhs = X.T @ y

# Solve (X.T @ X) @ beta = X.T @ y without forming an inverse.
beta = np.linalg.solve(normal_matrix, normal_rhs)
y_hat = X @ beta
residual = y - y_hat

print("X.T @ X =\n", normal_matrix)
print("X.T @ y =", normal_rhs)
print("beta =", beta)
print("y_hat =", y_hat)
print("residual =", residual)
print("X.T @ residual =", X.T @ residual)
print("squared residual length =", np.linalg.norm(residual) ** 2)

assert np.allclose(X.T @ residual, np.zeros(X.shape[1]))

输出为:

X.T @ X =
 [[ 4.  6.]
  [ 6. 14.]]
X.T @ y = [ 9. 18.]
beta = [0.9 0.9]
y_hat = [0.9 1.8 2.7 3.6]
residual = [ 0.1  0.2 -0.7  0.4]
X.T @ residual = [0. 0.]
squared residual length = 0.7

numpy.linalg.solve为系数向量求解方阵线性系统。在本例中,XTXX^{\mathsf T}X 是方阵且非奇异,因此适合作为教学示例。assert 使用 numpy.allclose,因为浮点运算可能会在数学上应为零的地方留下极小值。误差大小使用 numpy.linalg.norm计算;使用默认向量范数时,它计算欧氏长度。

为什么不直接乘以显式逆矩阵?

对于这个小例子,下面的诊断会产生一个在浮点容差内相同的系数向量:

beta_via_inverse = np.linalg.inv(normal_matrix) @ normal_rhs
print(np.allclose(beta, beta_via_inverse))  # True for this toy system

这种一致性并不意味着逆矩阵是首选实现。对于一个右端项,求逆比直接求解需要更多工作,而构造逆矩阵还可能引入本可避免的数值误差。这与第 025 课的实现经验相同:写出你需要的系统,并使用为该系统设计的求解器。

几何结构告诉我们 AI 模型什么

在一个小型回归基线中,XX 的列是模型允许组合的特征方向。目标向量 yy 为每个训练样本包含一个期望的数值结果。最小二乘找到这些特征方向能够表达的、离目标最近的结果向量。残差是这组特征留下在其张成空间之外的训练目标部分。

这个视角让两个评估习惯变得具体:

  • 较小的训练残差表示,在平方误差下,所选特征空间能够较近地重构观测目标。但它本身不衡量在新样本上的表现。
  • 较大的残差可能意味着结果有噪声、缺少特征、存在离群点,或者直线对于这种关系过于受限。几何结构能指出当前模型无法表达什么,但不能指出原因。

截距也编码了一个建模选择。加入全为 1 的列后,拟合可以竖直平移,残差之和为零。移除该列会把预测向量限制在仅由 xx 张成的空间中;对于通过原点的物理定律,这可能恰当,但对大多数数据集而言是额外约束。

会改变计算结果的边界

正交不等于零。 残差垂直于特征列,但不一定不存在。在手算示例中,x=2x=2 处的残差是 −0.7-0.7,尽管完整残差向量同时垂直于两列。直线可以是可用模型中最近的一个,同时仍以非零误差错过每个观测值。

秩亏会改变系数的唯一性。 如果 XX 的第二列复制了截距列——例如所有 xix_i 都相同——那么这些列不会提供两个独立方向。矩阵 XTXX^{\mathsf T}X 会是奇异的,np.linalg.solve 会拒绝这个正规系统。预测子空间仍然存在,但截距和斜率之间的分配不唯一。后续课程会研究其他求解器;向对角线任意加入一个很小的数,会定义另一个正则化问题,而不是修复原有几何结构。

病态不等于奇异。 几乎重复的列会使 XTXX^{\mathsf T}X 对数据中的微小变化极其敏感。求解器可能返回系数,但这些系数仍然不稳定。这提醒我们检查特征关系和残差行为,而不是盲目相信看起来合理的数字。

截距不是自动存在的。 如果模型有意不包含截距,正规方程仍然要求残差垂直于现有特征列,但不存在全为 1 的列,因此没有理由让残差之和为零。改变列就改变了投影空间,也改变了正在回答的问题。

因此,最小二乘比“画出最佳直线”更具体。它使用欧氏平方误差作为距离,把预测投影到设计矩阵能够表达的集合上。后续回归课程可以建立在这个几何结构之上,但不应悄悄把它变成“每种目标关系都是线性的”或“每个残差都是随机噪声”的断言。

检查你的理解

问题 1

对于带一个输入特征和截距的 m 个观测,X、β、y 和 Xβ 的形状分别是什么?

显示分步解答

设计矩阵每行对应一个观测,并有两列:全为 1 的截距列和特征列。因此 X∈Rm×2X\in\mathbb{R}^{m\times2}。系数向量包含 β0\beta_0 和 β1\beta_1,所以 β∈R2\beta\in\mathbb{R}^{2}。目标向量每个观测有一项,因此 y∈Rmy\in\mathbb{R}^{m}。矩阵乘法给出

(m×2)(2×1)=m×1,(m\times2)(2\times1)=m\times1,

所以 XβX\beta 是一个含 mm 项的预测向量。这两个参数描述了在 mm 维观测空间中构造一个点所用的坐标。

问题 2

对于 X = [[1, 0], [1, 1], [1, 2]] 和 y = [1, 2, 2],计算 XᵀX 和 Xᵀy。

显示分步解答

计算各列的内积。第一列是 [1,1,1]T[1,1,1]^{\mathsf T},第二列是 [0,1,2]T[0,1,2]^{\mathsf T}:

XTX=[12+12+121⋅0+1⋅1+1⋅20⋅1+1⋅1+2⋅102+12+22]=[3335].X^{\mathsf T}X =\begin{bmatrix} 1^2+1^2+1^2 & 1\cdot0+1\cdot1+1\cdot2\\ 0\cdot1+1\cdot1+2\cdot1 & 0^2+1^2+2^2 \end{bmatrix} =\begin{bmatrix}3&3\\3&5\end{bmatrix}.

现在计算每列与 yy 的相关量:

XTy=[1+2+20⋅1+1⋅2+2⋅2]=[56].X^{\mathsf T}y =\begin{bmatrix} 1+2+2\\0\cdot1+1\cdot2+2\cdot2 \end{bmatrix} =\begin{bmatrix}5\\6\end{bmatrix}.

这就是正规方程使用的矩阵和右端项。

问题 3

使用本课的手算示例,手算验证 r = [0.1, 0.2, −0.7, 0.4] 与 X 的两列都正交。

显示分步解答

第一列是全为 1 的向量。它与 rr 的点积为

1(0.1)+1(0.2)+1(−0.7)+1(0.4)=0.1(0.1)+1(0.2)+1(-0.7)+1(0.4)=0.

第二列是 [0,1,2,3]T[0,1,2,3]^{\mathsf T}。它的点积为

0(0.1)+1(0.2)+2(−0.7)+3(0.4)=0.2−1.4+1.2=0.0(0.1)+1(0.2)+2(-0.7)+3(0.4)=0.2-1.4+1.2=0.

两个点积都为零,因此把它们堆叠起来就是 XTr=[0,0]TX^{\mathsf T}r=[0,0]^{\mathsf T}。残差也与这两列的任意线性组合正交。

问题 4

为什么 Xᵀr = 0 意味着拟合预测至少和 y 一样接近,不会比任意其他预测 Xβ 更远?

显示分步解答

令 β^\hat\beta 为拟合系数,β\beta 为任意替代系数。把替代残差重写为

y−Xβ=(y−Xβ^)+X(β^−β)=r+X(β^−β).y-X\beta=(y-X\hat\beta)+X(\hat\beta-\beta)=r+X(\hat\beta-\beta).

第一项是 rr,第二项属于 col⁡(X)\operatorname{col}(X)。由于 XTr=0X^{\mathsf T}r=0,rr 与第二项垂直。因此平方长度按勾股定理分解:

∥y−Xβ∥22=∥r∥22+∥X(β^−β)∥22≥∥r∥22.\lVert y-X\beta\rVert_2^2 =\lVert r\rVert_2^2+\lVert X(\hat\beta-\beta)\rVert_2^2 \geq\lVert r\rVert_2^2.

额外项不可能为负,因此列空间中的其他预测都不可能与 yy 有更小的平方距离。

问题 5

一位工程师说:“最小二乘拟合的残差全部为零,因为残差是正交的。”这个说法错在哪里?

显示分步解答

正交意味着点积为零,并不意味着残差向量本身为零。在本课示例中,

r=[0.1,0.2,−0.7,0.4]r=[0.1,0.2,-0.7,0.4]

各项都不为零,但它与全为 1 的列和特征列的点积都为零。只有当 yy 已经位于 col⁡(X)\operatorname{col}(X) 中,也就是可用的直线模型能够精确重现目标时,零向量才会出现。

问题 6

如果从 X 中移除全为 1 的截距列,会发生什么?

显示分步解答

没有全为 1 的列时,模型变成 y^i=β1xi\hat y_i=\beta_1x_i,即被迫通过原点的直线。列空间变为 span⁡{x}\operatorname{span}\{x\},而不是常数向量与 xx 的共同张成空间。正规方程仍要求残差与剩下的特征列正交,但没有全为 1 的列来强制

1Tr=0.\mathbf{1}^{\mathsf T}r=0.

所以残差之和不再必须为零。这是建模约束的改变,不是无害的格式变化。

问题 7

当 X 的两列重复时,为什么 np.linalg.solve 可能失败,即使最近的预测仍然存在?

显示分步解答

重复列不会产生两个独立的特征方向。如果 X=[1 1]X=[\mathbf{1}\ \mathbf{1}],那么列只张成一个方向,XTXX^{\mathsf T}X 是奇异的。奇异矩阵没有正规方程的唯一系数解,因此 np.linalg.solve 会正确拒绝这个系统,而不是凭空创造两个系数之间的唯一分配。

把 yy 投影到一维列空间的结果仍然可以唯一。含糊的是坐标表示:许多对 (β0,β1)(\beta_0,\beta_1) 都能相加得到同一个常数预测。需要使用不同算法,或使用一个明确正则化的问题,才能在这些表示中选择一个。

问题 8

一个模型使用许多特征后训练残差很小。为什么这不足以证明它能很好地预测新的 AI 样本?

显示分步解答

最小二乘只在训练设计矩阵的张成空间中寻找最近的目标向量。增加特征可能让这个空间足够有表达力,能够贴近观测目标,从而降低训练误差。新样本可能有不同的特征值或目标行为,而它们的目标并不属于已经计算出的投影。

要评估泛化能力,应保留独立评估集,或使用合适的交叉验证设计,然后在未用于拟合 β^\hat\beta 的样本上测量预测结果。训练残差仍可用于诊断拟合,但它不是对未来观测的保证。

实用习惯很简单:在相信系数向量之前,先写出预测空间。最小二乘给出该空间中的最近点;残差准确告诉你观测目标的哪一部分仍在模型所选张成空间之外。

资料来源

  1. Mathematics for Machine Learning official PDF, Section 3.8
  2. NumPy documentation: numpy.linalg.solve
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.allclose
  5. NumPy documentation: numpy.linalg.norm