AI 数学课程 · 第 48 课,共 180

正交补捕捉剩下的部分

描述与子空间正交的方向,验证平面法向量,并用 NumPy 将 AI 表示分成已解释的信号和残差误差。

分享这篇文章

一个模型可以用少数几个学到的方向解释一条观测,却仍然留下某些部分。它怎样判断这个剩余部分是真正的新方向,而不是已经解释过的内容的隐藏副本?

正交补给出了精确答案。它收集与整个子空间的每个方向内积都为零的所有方向,而不只是与某个选定向量正交的方向。在三维空间中,对于一个特征平面,正交补就是法向方向组成的直线。这条直线为残差分量提供了清晰的归属:残差与平面没有线性重叠,但仍可以有非零大小和有用信息。

学完本课,你将能够描述正交补,检查它的维数和基,解释平面的法向量,并在 NumPy 中使用正交归一基将已解释分量与残差分开。

**学习目标:**描述与子空间正交的方向。

本课建立在第 045 课:正交意味着没有线性重叠之上;该课把零内积作为几何检验。本课也建立在第 036 课:核与像解释损失和可达范围之上;该课把子空间与线性映射可能丢失或达到的信息联系起来。官方 Mathematics for Machine Learning 一书的第 3.6 节是课程参考。这里的定义、数字、视觉、实现、AI 联系和练习都是原创的。

子空间有一个垂直的剩余部分

令 V=RDV=\mathbb{R}^D 为 DD 维欧几里得向量空间。令 UU 为 VV 的 MM 维子空间。子空间是一个对加法和数乘封闭的向量集合;它包含零向量以及其基方向的所有线性组合。

三个事实使正交补很有用:

  • 如果 UU 在 DD 维空间中的维数是 MM,那么 dim⁡(U⊥)=D−M\dim(U^\perp)=D-M。UU 中的每个独立方向都会贡献一个正交约束。

  • UU 与 U⊥U^\perp 只在零向量处相交:U∩U⊥={0}U\cap U^\perp=\{0\}。非零向量不可能既在子空间内,又与该子空间中的每个向量正交,因为它与自身的内积会非零。

  • 在标准欧几里得几何中,每个 x∈RDx\in\mathbb{R}^D 都有唯一分解

    x=u+r,u∈U,r∈U⊥.x=u+r,\qquad u\in U,\quad r\in U^\perp.

    第一项是子空间能够描述的部分。第二项是子空间无法通过自身方向解释的部分。

维数规则是计数指南,不能替代定义。R3\mathbb{R}^3 中平面的正交补是一维的,但 R3\mathbb{R}^3 中直线的正交补是二维平面。“正交补”并不总是一支单独的箭头。

平面与它的法向直线

考虑平面

U=span⁡{b1=[101],b2=[011]}⊂R3.U=\operatorname{span}\left\{ b_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, b_2=\begin{bmatrix}0\\1\\1\end{bmatrix} \right\}\subset\mathbb{R}^3.

平面中的任意向量为

αb1+βb2=[αβα+β].\alpha b_1+\beta b_2 =\begin{bmatrix}\alpha\\\beta\\\alpha+\beta\end{bmatrix}.

所以这个平面由满足 x3=x1+x2x_3=x_1+x_2 的向量组成。要寻找法向量,需要找一个 n=(n1,n2,n3)n=(n_1,n_2,n_3),使它与两个基向量都正交:

nTb1=n1+n3=0,nTb2=n2+n3=0.n^{\mathsf T}b_1=n_1+n_3=0, \qquad n^{\mathsf T}b_2=n_2+n_3=0.

取 n3=1n_3=1,得到 n1=n2=−1n_1=n_2=-1,所以一个法向量是

n=[−1−11].n=\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

nn 的每个标量倍数也与两个基向量正交。因为 UU 的维数是 22,而环境空间的维数是 33,所以正交补的维数是 11;因此

U⊥=span⁡{[−1−11]}.U^\perp=\operatorname{span}\left\{ \begin{bmatrix}-1\\-1\\1\end{bmatrix} \right\}.

图中用一个平面表示 UU,用一支箭头表示它的法向方向。图下的表格是对绘图的完整数值替代:它记录了两个正交检验以及维数结论,不依赖颜色、透视或 JavaScript。

静态几何视觉

二维子空间及其一维正交补

深色箭头张成 U。橙色箭头是 n = (−1, −1, 1),它与两个基向量的点积都为零,是一个法向方向。

三维空间中的平面 U 与法向方向 n一个倾斜的三维示意图展示了由 b₁ 和 b₂ 张成的蓝色平行四边形平面 U。一支红色箭头从原点沿法向方向 n 延伸。下方表格给出精确的向量和点积检验。U:x₃ = x₁ + x₂b₁b₂n ∈ U⊥nᵀb₁ = 0 且 nᵀb₂ = 00
视觉中精确的向量与正交检验。
向量点积检验解释
b₁ = (1, 0, 1)nᵀb₁ = −1 + 1 = 0U 中的一个基方向
b₂ = (0, 1, 1)nᵀb₂ = −1 + 1 = 0U 中的一个基方向
n = (−1, −1, 1)nᵀn = 1 + 1 + 1 = 3n 张成 U⊥
x = (2, 1, 4)nᵀx = −2 − 1 + 4 = 1x 有非零法向分量

平面包含 b₁ 和 b₂ 的所有线性组合。正交补是完整的法向直线,包括两个方向和零向量,而不只是图中画出的那一支箭头。

ℝ³ 中的平面有一个一维正交补。法向直线捕捉与平面中任意向量的内积都没有重叠的方向。

视觉使用了三维空间的倾斜图形,因此屏幕上的角度只是几何的表示。真正传达含义的是代数:法向量与 UU 中的每个向量都垂直,因为 UU 中的每个向量都是 b1b_1 和 b2b_2 的线性组合。

计算示例:把观测分成已解释信号和残差

法向量 nn 是一个有用方向,但它的长度不是单位长度。为了清楚地读取坐标,先使用前几课中的正交归一方向。对 b1,b2b_1,b_2 应用 Gram–Schmidt 过程,得到 UU 的以下正交归一基:

q1=12[101],q2=16[−121].q_1=\frac{1}{\sqrt{2}}\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad q_2=\frac{1}{\sqrt{6}}\begin{bmatrix}-1\\2\\1\end{bmatrix}.

单位法向量为

q3=13[−1−11].q_3=\frac{1}{\sqrt{3}}\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

这三个方向两两正交归一,q1,q2q_1,q_2 张成 UU,而 q3q_3 张成 U⊥U^\perp。取观测

x=[214].x=\begin{bmatrix}2\\1\\4\end{bmatrix}.

由于基是正交归一的,每个系数都是一个内积。

这个计算把“已解释”与“剩余”变成了几何陈述。“已解释”是指“由选定子空间重构”,而不是“所有有用信息”。残差可以包含另一个特征、噪声、非线性模式,或一个后续模型应当检查的信号。

为什么分解是唯一的

唯一性来自交集事实,而不是某个幸运的坐标选择。假设同一个向量有两种分解:

x=u1+r1=u2+r2,u1,u2∈U,r1,r2∈U⊥.x=u_1+r_1=u_2+r_2, \qquad u_1,u_2\in U,\quad r_1,r_2\in U^\perp.

整理得:

u1−u2=r2−r1.u_1-u_2=r_2-r_1.

左边属于 UU,因为子空间对相减封闭。右边同样属于 U⊥U^\perp。因此这个公共向量属于 U∩U⊥U\cap U^\perp,而该交集只包含 00。所以 u1=u2u_1=u_2 且 r1=r2r_1=r_2。

同一个证明也说明两个部分不会重复计算某个方向。非零向量不可能既是 UU 中的已解释方向,又是 U⊥U^\perp 中的残差方向。

NumPy 让维数保持清晰

将正交归一基向量作为矩阵 Q∈R3×2Q\in\mathbb{R}^{3\times2} 的列存储。观测 xx 的形状是 (3,)(3,),坐标向量 QTxQ^{\mathsf T}x 的形状是 (2,)(2,),而重构出的已解释向量 Q(QTx)Q(Q^{\mathsf T}x) 又回到形状 (3,)(3,)。

下面的代码使用 numpy.asarray 将输入变成数组,使用 numpy.matmul 文档所述的矩阵乘法运算符,使用 numpy.linalg.norm 计算欧几里得残差大小,并使用 numpy.allclose 执行带容差的检验。显式的 atol 和

rtol=0 让预期的零比较清晰可见;NumPy 警告说,在接近零的情况下,默认绝对容差可能不合适。

import numpy as np


def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
    x = np.asarray(x, dtype=float)
    Q = np.asarray(Q, dtype=float)
    if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
        raise ValueError('x must be (D,) and Q must be (D, M)')

    gram = Q.T @ Q
    if not np.allclose(
        gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
    ):
        raise ValueError('Q columns must be orthonormal')

    coordinates = Q.T @ x
    explained = Q @ coordinates
    residual = x - explained
    return coordinates, explained, residual


Q = np.array([
    [1 / np.sqrt(2), -1 / np.sqrt(6)],
    [0.0,             2 / np.sqrt(6)],
    [1 / np.sqrt(2),  1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])

coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)

print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))

验证后的输出是:

[[1. 0.]
 [0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333  0.333333]
0.57735
True
True

第一个矩阵是列向量的 2×22\times2 Gram 矩阵。它呈现单位矩阵的形状,确认每一列长度为一且不同列彼此正交。最后两个检验说明残差与 QQ 的两列正交,并且位于单位法向方向上。这个函数不寻找最近点,也不证明最小二乘拟合;它使用已经验证的正交归一基来展示两个坐标块。这样本课可以专注于正交补。后续关于投影的课程会解释最近点的含义。

残差是分离出来的,不是被抹去的

在 AI 表示中,令 UU 为由线性编码器、主子空间或手工设计的特征族选出的特征方向子空间。对于输入 xx,分解 x=u+rx=u+r 给出:

  • u∈Uu\in U:可由选定方向表达的分量;
  • r∈U⊥r\in U^\perp:对于只沿 UU 查看、且只使用线性分数的任何线性评分而言都不可见的分量;
  • ∥r∥2\lVert r\rVert_2:在这种几何下剩余部分的大小。

这可以提高可解释性。如果线性读出只由 QQ 的列构成,那么它的分数无法通过与这些列的内积从 rr 获得贡献,因为 QTr=0Q^{\mathsf T}r=0。这只是关于这个子空间、这个内积和这个表示的陈述,并不是说残差没有用。非线性层、不同的度量或不同的数据集,都可能揭示当前正交拆分无法捕捉的关系。

有两个边界情形值得记住:

  1. 如果 U=RDU=\mathbb{R}^D,那么 M=DM=D 且 U⊥={0}U^\perp=\{0\}。整个空间解释了所有内容,所以唯一的残差是零。
  2. 如果 U={0}U=\{0\},那么 M=0M=0 且 U⊥=RDU^\perp=\mathbb{R}^D。零子空间没有解释任何内容,所以每个向量都是残差。

维数规则还假设使用标准点积。如果系统定义了加权内积,“正交”会随该度量改变;上面的普通点积法向量不一定是正确的残差方向。

下一课会把同一个拆分扩展到子空间上最近点的几何。现在,应该记住的检验更简单:说明环境空间,写出 UU 的一组基,检查候选向量与这组基的内积是否为零,并把正交补看作所有允许的残差方向组成的子空间。

检查你的理解

Question 1

令 U 为 R^D 中的 M 维子空间。U⊥ 是什么?它应当有多少维?

Show the step-by-step solution

根据定义,U⊥U^\perp 包含每个 z∈RDz\in\mathbb{R}^D,它与 UU 中的每个 uu 的内积都为零。由于内积可以在线性组合上分配,只需对 UU 的一组含 MM 个向量的基施加检验即可。这些独立的正交条件留下 D−MD-M 个独立方向,因此在通常的欧几里得几何下,dim⁡(U⊥)=D−M\dim(U^\perp)=D-M。

Question 2

对于 U = span{(1, 0, 1), (0, 1, 1)},检验 n = (−1, −1, 1),并说明 U⊥。

Show the step-by-step solution

检验第一个基向量:nT(1,0,1)=−1+1=0n^\mathsf{T}(1,0,1)=-1+1=0。检验第二个:nT(0,1,1)=−1+1=0n^\mathsf{T}(0,1,1)=-1+1=0。由于 UU 中的每个向量都是这两个基向量的线性组合,nn 与 UU 中的所有向量都正交。这两个基向量彼此独立,因此 dim⁡(U)=2\dim(U)=2,在 R3\mathbb{R}^3 中 dim⁡(U⊥)=1\dim(U^\perp)=1。所以 U⊥=span⁡{(−1,−1,1)}U^\perp=\operatorname{span}\{(-1,-1,1)\}。

Question 3

使用同一个平面,判断 y = (2, 1, 3) 是否有 U⊥ 中的残差分量。展示检验。

Show the step-by-step solution

这个平面满足 x3=x1+x2x_3=x_1+x_2。对于 yy,3=2+13=2+1,所以它已经属于 UU。法向量检验给出相同结论:nTy=(−1)(2)+(−1)(1)+1(3)=−2−1+3=0n^\mathsf{T} y=(-1)(2)+(-1)(1)+1(3)=-2-1+3=0。由于 U⊥U^\perp 是法向直线,法向坐标为零,所以残差分量是零向量。

Question 4

对于 x = (2, 1, 4),使用计算示例中的分解,验证残差与 U 正交但不为零。

Show the step-by-step solution

分解给出 r=(−1/3,−1/3,1/3)r=(-1/3,-1/3,1/3)。它不为零,因为其欧几里得范数为 1/9+1/9+1/9=1/3>0\sqrt{1/9+1/9+1/9}=1/\sqrt{3}>0。检查两个基方向:b1Tr=1(−1/3)+0+1(1/3)=0b_1^\mathsf{T}r=1(-1/3)+0+1(1/3)=0,而 b2Tr=0+1(−1/3)+1(1/3)=0b_2^\mathsf{T}r=0+1(-1/3)+1(1/3)=0。因此残差是 U⊥U^\perp 中一个真正的非零方向,而不是信息的缺失。

Question 5

当 U 是一个平面时,为什么只检查候选向量与 U 中一个向量的关系是不够的?

Show the step-by-step solution

与一个向量正交只消除了一个线性重叠。一个向量可能与 b1b_1 垂直,却仍然与 b2b_2 的点积非零,因此它不会与平面中的每个线性组合垂直。候选向量要属于 U⊥U^\perp,必须对 UU 的每个基方向通过零点积检验。通过这些基检验后,由分配律即可覆盖每个线性组合。

Question 6

在 NumPy 代码中,Q 的形状是 (D, M)。Q.T @ x、Q @ (Q.T @ x) 和 x − Q @ (Q.T @ x) 的形状分别是什么?

Show the step-by-step solution

QQ 的形状是 (D,M)(D,M),xx 的形状是 (D,)(D,)。它的转置形状是 (M,D)(M,D),所以 QTxQ^\mathsf{T}x 的形状是 (M,)(M,):每个基方向对应一个系数。用 QQ 乘这个系数向量会返回形状 (D,)(D,),这就是已解释分量。两个形状为 (D,)(D,) 的向量相减后仍是 (D,)(D,),得到原环境空间中的残差。

Question 7

Q.T @ Q 上的 allclose 检验验证了什么?为什么精确的 == 比较不是好的浮点数检验?

Show the step-by-step solution

对按列存储的基向量而言,QTQQ^\mathsf{T}Q 是它们的 Gram 矩阵。结果为单位矩阵意味着每一列都是单位长度,且不同列的内积为零,因此这些列是正交归一的。浮点平方根和乘法可能留下像 2.2×10−162.2\times10^{-16} 这样的微小数值,而精确算术中的结果是零。 np.allclose 会在显式容差内进行比较;不过,容差仍需根据数据的尺度和精度来选择,不能盲目接受。

Question 8

一个模型把 U⊥ 中的每个残差都标记为无用。这个结论的哪一部分来自数学,哪一部分超出了数学的支持?

Show the step-by-step solution

有效的部分很有限:r∈U⊥r\in U^\perp 意味着它与 UU 中的每个方向的内积都为零,因此只对这些方向评分的线性读出无法通过同一个内积从 rr 得到贡献。说 rr 无用则超出了数学支持。它可以有非零范数,编码另一个线性方向,携带非线性结构,或对后续层或另一种度量有用。

资料来源

  1. Mathematics for Machine Learning book PDF, Section 3.6
  2. NumPy documentation: numpy.asarray
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose