AI 数学课程 · 第 50 课,共 180

投影找到最近的点

计算向直线的投影,验证其垂直残差,并使用透明的 NumPy 检查在模型子空间内近似一个观测。

分享这篇文章

AI 系统经常需要用比观测本身更少的方向来解释一个观测。如果模型子空间是一条直线,那么对于一个没有准确落在直线上的向量,直线上的哪个点是最好的解释?

正交投影回答了这个问题。它保留观测沿模型方向的部分,并留下一个成直角的残差。这个残差不是模糊的“剩余”:在直线上所有点中,它的长度是可能达到的最小欧氏误差。

学完本课,你将能够计算向一条直线的向量投影,证明残差为什么垂直,将它与其他候选点比较,并在不构造显式矩阵逆的情况下用 NumPy 实现计算。

**学习目标:**计算向一条直线的投影,并解释垂直残差。

本课把第 046 课:正交归一基简化坐标中用内积在友好基底中读取坐标的内容,与第 048 课:正交补捕捉剩余部分中把残差识别为子空间外部方向的内容连接起来。官方的 Mathematics for Machine Learning 一书在第 3.8 节介绍了这个主题。这里的直线、数字、视觉、实现、AI 联系和评估题都是原创内容。

直线给出一个单方向的模型族

设 b∈Rnb\in\mathbb{R}^n 是一个非零方向向量。沿该方向、经过原点的直线是一维子空间

U=span⁡{b}={tb:t∈R}.U=\operatorname{span}\{b\}=\{tb:t\in\mathbb{R}\}.

标量 tt 是沿直线的坐标。每个 tt 都给出一个候选点,因此把观测 x∈Rnx\in\mathbb{R}^n 投影到 UU 上,就是选择一个坐标,让 tbtb 尽可能接近 xx。

条件 rTb=0r^{\mathsf T}b=0 足以找到 α\alpha。代入 p=αbp=\alpha b 并展开点积:

0=(x−αb)Tb=xTb−αbTb.\begin{aligned} 0&=(x-\alpha b)^{\mathsf T}b\\ &=x^{\mathsf T}b-\alpha b^{\mathsf T}b. \end{aligned}

因为 bb 非零,所以 bTb=∥b∥22b^{\mathsf T}b=\lVert b\rVert_2^2 为正。两边除以它,得到投影系数

α=xTbbTb.\boxed{\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}}.

然后代入即可得到投影点和残差:

p=xTbbTb b,r=x−p.\boxed{p=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}\,b,\qquad r=x-p.}

如果 bb 的长度为 1,分母就是 1,这正是正交归一坐标系中的快捷形式。对于任意方向,省略 bTbb^{\mathsf T}b 就是在悄悄假设 bb 是单位向量。

为什么垂直点是最近点

点积检查告诉我们残差垂直,但它也证明了最近点的结论。取直线上的任意其他点 tbtb。由于 p=αbp=\alpha b,

x−tb=(x−p)+(p−tb)=r+(α−t)b.x-tb=(x-p)+(p-tb)=r+(\alpha-t)b.

两项相互垂直:rr 垂直于 bb,因此也垂直于缩放后的向量 (α−t)b(\alpha-t)b。勾股定理于是给出

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

第二项永远不会为负,并且当且仅当 t=αt=\alpha 时为 00。所以 p=αbp=\alpha b 是直线上的唯一最近点。这就是为什么残差长度 ∥r∥2\lVert r\rVert_2 也被称为这个单方向模型的投影误差或重构误差。

一个带数值最近点检查的投影例子

使用两个故意不对齐的观测和模型方向:

x=[31],b=[21].x=\begin{bmatrix}3\\1\end{bmatrix}, \qquad b=\begin{bmatrix}2\\1\end{bmatrix}.

即使与附近的候选坐标比较,1.41.4 仍然获胜:

坐标 tt候选点 tbtb距离 ∥x−tb∥2\lVert x-tb\rVert_2
00(0,0)(0,0)10≈3.162\sqrt{10}\approx3.162
11(2,1)(2,1)11
1.41.4(2.8,1.4)(2.8,1.4)5/5≈0.447\sqrt{5}/5\approx0.447
22(4,2)(4,2)2≈1.414\sqrt{2}\approx1.414

t=1t=1 的候选点比 t=2t=2 的候选点更近,因为沿直线看,11 更接近最优坐标 1.41.4。直线上有无限多个候选点,因此小型比较表可以说明定理,但不能取代公式。

拖动观测点,找到直线上的最近点
选择观测坐标

直线方向固定为 b = (2, 1)。用滑块移动 x,然后在表格中比较投影点和残差。

键盘操作:聚焦蓝色点并使用方向键,每次移动 0.25。按住 Shift 时每次移动 1。

x = (3, 1);α = 1.4;p = (2.8, 1.4);r = (0.2, −0.4);r · b = 0;距离 = 0.45。

观测、投影和垂直残差观测为 (3, 1)。它在直线上的投影为 (2.8, 1.4),残差为 (0.2, −0.4),长度为 0.45。虚线残差与直线成直角。x₁x₂U = span{b}x = (3, 1)p = (2.8, 1.4)r
当前投影值,也可在不查看图形的情况下使用。
量值含义
观测 x(3, 1)读者控制的、正在被近似的向量。
系数 α1.4沿模型方向的坐标。
投影点 p(2.8, 1.4)直线 U 上的最近点。
残差 r(0.2, −0.4)直线解释了自身部分后留下的部分。
残差 · 方向 b0在给定浮点容差内为零。
残差长度0.45欧氏投影误差。
直线 U 上几个候选点到 x 的距离。
坐标 t候选点 tb到 x 的距离
0(0, 0)3.16
1(2, 1)1
1.4 (对当前 x 最近)(2.8, 1.4)0.45
2(4, 2)1.41

这些表格就是完整的数值后备方案。移动 x 会改变每个数值,但几何规则不变:残差垂直,投影使距离最小。

蓝色观测点可以用指针、坐标滑块或方向键移动。绿色点是它在虚线上的投影;琥珀色线段是垂直残差。

透明的 NumPy 实现

实现应当对应推导过程。numpy.dot 计算一维内积,而 numpy.linalg.norm 计算欧氏长度。下面的代码还会把重构结果与原始观测比较,并使用显式容差检查垂直点积。numpy.allclose 在绝对和相对容差内比较数组;选择容差是数值测试的一部分,而不是在浮点运算中证明精确相等的方法。

import numpy as np

x = np.array([3.0, 1.0])
b = np.array([2.0, 1.0])

coefficient = np.dot(x, b) / np.dot(b, b)
projected = coefficient * b
residual = x - projected

tolerance = 1e-12
reconstruction_ok = np.allclose(
    projected + residual, x, rtol=0.0, atol=tolerance
)
orthogonality_ok = np.isclose(
    np.dot(residual, b), 0.0, rtol=0.0, atol=tolerance
)

candidates = np.array([0.0, 1.0, 1.4, 2.0])
candidate_points = candidates[:, None] * b
candidate_distances = np.linalg.norm(x - candidate_points, axis=1)
best_candidate = candidates[np.argmin(candidate_distances)]

print(coefficient)
print(projected)
print(residual)
print(np.dot(residual, b))
print(np.linalg.norm(residual))
print(reconstruction_ok, orthogonality_ok)
print(candidate_distances)
print(best_candidate)

已验证的输出:

1.4
[2.8 1.4]
[ 0.2 -0.4]
4.440892098500626e-16
0.4472135954999579
True True
[3.16227766 1.         0.4472136  1.41421356]
1.4

这个直线投影中没有显式逆矩阵。唯一的除法是除以标量 bTbb^{\mathsf T}b;由于方向非零,该标量为正。对于更高维的模型子空间,多个系数会相互耦合,实现需要稳定的线性代数求解;后续课程会明确展开这一扩展。

一个模型方向可以解释一种 AI 特征模式

假设编码器产生一个双特征观测 xx,领域专家识别出一个有意义的模式 bb。直线 U=span⁡{b}U=\operatorname{span}\{b\} 包含这种模式的所有可能强度和符号。系数

α=xTbbTb\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}

是使用该方向对 xx 做出的最佳单数值概括。重构 αb\alpha b 得到模型解释的部分;r=x−αbr=x-\alpha b 是这个单方向模型无法解释的部分。正交检查说明残差不再包含沿同一方向的额外分量,并不说明它完全没有信息。

这是一特征最小二乘拟合的几何核心。如果特征方向已归一化,分母就会消失。如果所选特征没有归一化,保留分母可以防止用来表示同一直线的任意尺度改变重构点。在真实的表示流水线中,方向的选择和度量仍需要验证:低残差的意思是“在这条直线和欧氏距离下很接近”,而不是“语义上完整”。

会改变答案的边界情况

**零方向不是一条直线。**如果 b=0b=0,那么 bTb=0b^{\mathsf T}b=0,系数公式会除以零。没有可投影的方向;生产实现应当拒绝这个输入,而不是制造一个系数。

**仿射直线带有偏移。**上面的公式针对经过原点的直线。对于 c+tbc+tb,先将观测居中:把 x−cx-c 投影到 bb 上,然后加回 cc:

proj⁡c+span⁡{b}(x)=c+(x−c)TbbTbb.\operatorname{proj}_{c+\operatorname{span}\{b\}}(x) =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

直接把原点直线公式应用于 xx,会把答案强制放到另一条直线上。

**正交不等于无关。**残差可以垂直于所选模型方向,同时仍然携带很强的信号、缺失特征或系统性误差。投影只回答由所选子空间和距离定义的问题。

投影把“哪个解释最近?”转化成一个可复现的系数、点、残差和容差检查。第 051 课会把这个单观测操作提升为可以变换整个数据集的投影矩阵,第 052 课则会把同样的最近点几何连接到最小二乘回归。

检查你的理解

问题 1

对于 x = (4, 1) 和 b = (1, 1),计算投影系数 α 和投影点。

显示分步解答

先计算两个点积:

xTb=4⋅1+1⋅1=5,bTb=12+12=2.x^{\mathsf T}b=4\cdot1+1\cdot1=5, \qquad b^{\mathsf T}b=1^2+1^2=2.

因此 α=5/2\alpha=5/2。将这个标量乘以 bb:

p=52(1,1)=(52,52).p=\frac52(1,1)=\left(\frac52,\frac52\right).

结果位于直线 y=xy=x 上,因为 (1,1)(1,1) 的每个倍数都必须位于这条直线上。

问题 2

对于同一个 x = (4, 1) 和 b = (1, 1),计算残差并验证它与 b 垂直。

显示分步解答

根据上一题的计算,

r=x−p=(4,1)−(52,52)=(32,−32).r=x-p=(4,1)-\left(\frac52,\frac52\right) =\left(\frac32,-\frac32\right).

现在与直线方向取点积:

rTb=32⋅1+(−32)⋅1=0.r^{\mathsf T}b=\frac32\cdot1+\left(-\frac32\right)\cdot1=0.

这个零值确认:在标准点积下,残差与直线方向正交。

问题 3

为什么投影系数的分母包含 bᵀb?如果把 b 换成 3b,但省略分母,会发生什么?

显示分步解答

系数来自正交方程

0=(x−αb)Tb=xTb−αbTb.0=(x-\alpha b)^{\mathsf T}b=x^{\mathsf T}b-\alpha b^{\mathsf T}b.

解出 α\alpha 需要除以 bTbb^{\mathsf T}b,它会校正方向的长度。如果把 bb 换成 3b3b,那么分子 xT(3b)x^{\mathsf T}(3b) 也会乘以 33,而正确的分母会乘以 99。因此比值会变为原来的三分之一,最终乘积 α(3b)\alpha(3b) 保持不变。省略分母会让结果依赖于表示同一直线时使用的任意尺度。

问题 4

说明为什么投影比任意候选 tb 更近,而不必检查一长串候选点。

显示分步解答

把观测写成 x=p+rx=p+r,其中 p=αbp=\alpha b 且 r⊥br\perp b。对于任意候选 tbtb,

x−tb=r+(α−t)b.x-tb=r+(\alpha-t)b.

两项相互垂直,所以勾股定理给出

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

额外项非负,并且因为 b≠0b\ne0,只有 t=αt=\alpha 时才为零。因此投影是在整条直线上取得最小距离,而不只是我们碰巧抽样的候选点中最小。

问题 5

在工作例子 x = (3, 1) 和 b = (2, 1) 中,将 t = 1 和 t = 2 的候选点与投影比较。它们的距离是多少?为什么这里看似的对称性不成立?

显示分步解答

投影坐标为 α=1.4\alpha=1.4,投影距离为 5/5≈0.447\sqrt5/5\approx0.447。当 t=1t=1 时,点为 (2,1)(2,1),它与 xx 的差为 (1,0)(1,0),所以距离为 11。当 t=2t=2 时,点为 (4,2)(4,2),差为 (−1,−1)(-1,-1),所以距离为 2≈1.414\sqrt2\approx1.414。它们不相等,因为在欧氏度量下,观测并没有关于直线坐标区间 [1,2][1,2] 对称地放置。重新计算点和差,可以避免复制表格值掩盖算术错误。

问题 6

实现输出残差点积 −2.2 × 10⁻¹⁶。因为这个值不是字面上的零,是否应该拒绝投影?

显示分步解答

不应该。数学结果是零,而二进制浮点运算可能留下很小的舍入余数。选择符合输入尺度的容差,并使用带容差的比较,例如 np.isclose(np.dot(residual, b), 0.0, rtol=0.0, atol=1e-12)。对于非常大或非常小的数据,不应盲目复制这个容差;它是数值契约的一部分。

问题 7

如果模型族是仿射直线 c + tb,而不是经过原点的直线,会发生什么变化?

显示分步解答

偏移改变了候选点的集合,所以先用 cc 平移观测:

y=x−c.y=x-c.

使用下面的公式把 yy 投影到方向 bb 上:

α=yTbbTb.\alpha=\frac{y^{\mathsf T}b}{b^{\mathsf T}b}.

然后平移回来:

p=c+αb=c+(x−c)TbbTbb.p=c+\alpha b =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

如果使用 xx 而不是 x−cx-c,解决的将是原点直线问题,结果可能落在预期的仿射模型族之外。

问题 8

一位 AI 工程师说:"残差与模型方向正交,所以它不包含有用信息。"哪一部分是正确的?哪一部分说得太绝对?

显示分步解答

正确的是几何部分:残差与所选方向的点积为零,所以仅改变该方向上的标量系数,模型无法进一步减少它。关于有用性的结论太绝对。残差可能包含另一个特征、系统性误差、噪声,或一维模型遗漏的整个方向。正交性是相对于所选子空间和度量而言的;它并没有声称数据的剩余部分毫无意义。

资料来源

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.dot
  3. NumPy documentation: numpy.linalg.norm
  4. NumPy documentation: numpy.allclose