正交补捕捉剩下的部分
描述与子空间正交的方向,验证平面法向量,并用 NumPy 将 AI 表示分成已解释的信号和残差误差。
一个模型可以用少数几个学到的方向解释一条观测,却仍然留下某些部分。它怎样判断这个剩余部分是真正的新方向,而不是已经解释过的内容的隐藏副本?
正交补给出了精确答案。它收集与整个子空间的每个方向内积都为零的所有方向,而不只是与某个选定向量正交的方向。在三维空间中,对于一个特征平面,正交补就是法向方向组成的直线。这条直线为残差分量提供了清晰的归属:残差与平面没有线性重叠,但仍可以有非零大小和有用信息。
学完本课,你将能够描述正交补,检查它的维数和基,解释平面的法向量,并在 NumPy 中使用正交归一基将已解释分量与残差分开。
**学习目标:**描述与子空间正交的方向。
本课建立在第 045 课:正交意味着没有线性重叠之上;该课把零内积作为几何检验。本课也建立在第 036 课:核与像解释损失和可达范围之上;该课把子空间与线性映射可能丢失或达到的信息联系起来。官方 Mathematics for Machine Learning 一书的第 3.6 节是课程参考。这里的定义、数字、视觉、实现、AI 联系和练习都是原创的。
子空间有一个垂直的剩余部分
令 为 维欧几里得向量空间。令 为 的 维子空间。子空间是一个对加法和数乘封闭的向量集合;它包含零向量以及其基方向的所有线性组合。
三个事实使正交补很有用:
-
如果 在 维空间中的维数是 ,那么 。 中的每个独立方向都会贡献一个正交约束。
-
与 只在零向量处相交:。非零向量不可能既在子空间内,又与该子空间中的每个向量正交,因为它与自身的内积会非零。
-
在标准欧几里得几何中,每个 都有唯一分解
第一项是子空间能够描述的部分。第二项是子空间无法通过自身方向解释的部分。
维数规则是计数指南,不能替代定义。 中平面的正交补是一维的,但 中直线的正交补是二维平面。“正交补”并不总是一支单独的箭头。
平面与它的法向直线
考虑平面
平面中的任意向量为
所以这个平面由满足 的向量组成。要寻找法向量,需要找一个 ,使它与两个基向量都正交:
取 ,得到 ,所以一个法向量是
的每个标量倍数也与两个基向量正交。因为 的维数是 ,而环境空间的维数是 ,所以正交补的维数是 ;因此
图中用一个平面表示 ,用一支箭头表示它的法向方向。图下的表格是对绘图的完整数值替代:它记录了两个正交检验以及维数结论,不依赖颜色、透视或 JavaScript。
静态几何视觉
二维子空间及其一维正交补
深色箭头张成 U。橙色箭头是 n = (−1, −1, 1),它与两个基向量的点积都为零,是一个法向方向。
| 向量 | 点积检验 | 解释 |
|---|---|---|
| b₁ = (1, 0, 1) | nᵀb₁ = −1 + 1 = 0 | U 中的一个基方向 |
| b₂ = (0, 1, 1) | nᵀb₂ = −1 + 1 = 0 | U 中的一个基方向 |
| n = (−1, −1, 1) | nᵀn = 1 + 1 + 1 = 3 | n 张成 U⊥ |
| x = (2, 1, 4) | nᵀx = −2 − 1 + 4 = 1 | x 有非零法向分量 |
平面包含 b₁ 和 b₂ 的所有线性组合。正交补是完整的法向直线,包括两个方向和零向量,而不只是图中画出的那一支箭头。
视觉使用了三维空间的倾斜图形,因此屏幕上的角度只是几何的表示。真正传达含义的是代数:法向量与 中的每个向量都垂直,因为 中的每个向量都是 和 的线性组合。
计算示例:把观测分成已解释信号和残差
法向量 是一个有用方向,但它的长度不是单位长度。为了清楚地读取坐标,先使用前几课中的正交归一方向。对 应用 Gram–Schmidt 过程,得到 的以下正交归一基:
单位法向量为
这三个方向两两正交归一, 张成 ,而 张成 。取观测
由于基是正交归一的,每个系数都是一个内积。
这个计算把“已解释”与“剩余”变成了几何陈述。“已解释”是指“由选定子空间重构”,而不是“所有有用信息”。残差可以包含另一个特征、噪声、非线性模式,或一个后续模型应当检查的信号。
为什么分解是唯一的
唯一性来自交集事实,而不是某个幸运的坐标选择。假设同一个向量有两种分解:
整理得:
左边属于 ,因为子空间对相减封闭。右边同样属于 。因此这个公共向量属于 ,而该交集只包含 。所以 且 。
同一个证明也说明两个部分不会重复计算某个方向。非零向量不可能既是 中的已解释方向,又是 中的残差方向。
NumPy 让维数保持清晰
将正交归一基向量作为矩阵 的列存储。观测 的形状是 ,坐标向量 的形状是 ,而重构出的已解释向量 又回到形状 。
下面的代码使用 numpy.asarray 将输入变成数组,使用 numpy.matmul 文档所述的矩阵乘法运算符,使用 numpy.linalg.norm 计算欧几里得残差大小,并使用 numpy.allclose 执行带容差的检验。显式的 atol 和
rtol=0 让预期的零比较清晰可见;NumPy
警告说,在接近零的情况下,默认绝对容差可能不合适。
import numpy as np
def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
x = np.asarray(x, dtype=float)
Q = np.asarray(Q, dtype=float)
if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
raise ValueError('x must be (D,) and Q must be (D, M)')
gram = Q.T @ Q
if not np.allclose(
gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
):
raise ValueError('Q columns must be orthonormal')
coordinates = Q.T @ x
explained = Q @ coordinates
residual = x - explained
return coordinates, explained, residual
Q = np.array([
[1 / np.sqrt(2), -1 / np.sqrt(6)],
[0.0, 2 / np.sqrt(6)],
[1 / np.sqrt(2), 1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])
coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)
print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))
验证后的输出是:
[[1. 0.]
[0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333 0.333333]
0.57735
True
True
第一个矩阵是列向量的 Gram 矩阵。它呈现单位矩阵的形状,确认每一列长度为一且不同列彼此正交。最后两个检验说明残差与 的两列正交,并且位于单位法向方向上。这个函数不寻找最近点,也不证明最小二乘拟合;它使用已经验证的正交归一基来展示两个坐标块。这样本课可以专注于正交补。后续关于投影的课程会解释最近点的含义。
残差是分离出来的,不是被抹去的
在 AI 表示中,令 为由线性编码器、主子空间或手工设计的特征族选出的特征方向子空间。对于输入 ,分解 给出:
- :可由选定方向表达的分量;
- :对于只沿 查看、且只使用线性分数的任何线性评分而言都不可见的分量;
- :在这种几何下剩余部分的大小。
这可以提高可解释性。如果线性读出只由 的列构成,那么它的分数无法通过与这些列的内积从 获得贡献,因为 。这只是关于这个子空间、这个内积和这个表示的陈述,并不是说残差没有用。非线性层、不同的度量或不同的数据集,都可能揭示当前正交拆分无法捕捉的关系。
有两个边界情形值得记住:
- 如果 ,那么 且 。整个空间解释了所有内容,所以唯一的残差是零。
- 如果 ,那么 且 。零子空间没有解释任何内容,所以每个向量都是残差。
维数规则还假设使用标准点积。如果系统定义了加权内积,“正交”会随该度量改变;上面的普通点积法向量不一定是正确的残差方向。
下一课会把同一个拆分扩展到子空间上最近点的几何。现在,应该记住的检验更简单:说明环境空间,写出 的一组基,检查候选向量与这组基的内积是否为零,并把正交补看作所有允许的残差方向组成的子空间。
检查你的理解
Question 1
令 U 为 R^D 中的 M 维子空间。U⊥ 是什么?它应当有多少维?
Show the step-by-step solution
根据定义, 包含每个 ,它与 中的每个 的内积都为零。由于内积可以在线性组合上分配,只需对 的一组含 个向量的基施加检验即可。这些独立的正交条件留下 个独立方向,因此在通常的欧几里得几何下,。
Question 2
对于 U = span{(1, 0, 1), (0, 1, 1)},检验 n = (−1, −1, 1),并说明 U⊥。
Show the step-by-step solution
检验第一个基向量:。检验第二个:。由于 中的每个向量都是这两个基向量的线性组合, 与 中的所有向量都正交。这两个基向量彼此独立,因此 ,在 中 。所以 。
Question 3
使用同一个平面,判断 y = (2, 1, 3) 是否有 U⊥ 中的残差分量。展示检验。
Show the step-by-step solution
这个平面满足 。对于 ,,所以它已经属于 。法向量检验给出相同结论:。由于 是法向直线,法向坐标为零,所以残差分量是零向量。
Question 4
对于 x = (2, 1, 4),使用计算示例中的分解,验证残差与 U 正交但不为零。
Show the step-by-step solution
分解给出 。它不为零,因为其欧几里得范数为 。检查两个基方向:,而 。因此残差是 中一个真正的非零方向,而不是信息的缺失。
Question 5
当 U 是一个平面时,为什么只检查候选向量与 U 中一个向量的关系是不够的?
Show the step-by-step solution
与一个向量正交只消除了一个线性重叠。一个向量可能与 垂直,却仍然与 的点积非零,因此它不会与平面中的每个线性组合垂直。候选向量要属于 ,必须对 的每个基方向通过零点积检验。通过这些基检验后,由分配律即可覆盖每个线性组合。
Question 6
在 NumPy 代码中,Q 的形状是 (D, M)。Q.T @ x、Q @ (Q.T @ x) 和 x − Q @ (Q.T @ x) 的形状分别是什么?
Show the step-by-step solution
的形状是 , 的形状是 。它的转置形状是 ,所以 的形状是 :每个基方向对应一个系数。用 乘这个系数向量会返回形状 ,这就是已解释分量。两个形状为 的向量相减后仍是 ,得到原环境空间中的残差。
Question 7
Q.T @ Q 上的 allclose 检验验证了什么?为什么精确的 == 比较不是好的浮点数检验?
Show the step-by-step solution
对按列存储的基向量而言, 是它们的 Gram
矩阵。结果为单位矩阵意味着每一列都是单位长度,且不同列的内积为零,因此这些列是正交归一的。浮点平方根和乘法可能留下像
这样的微小数值,而精确算术中的结果是零。
np.allclose
会在显式容差内进行比较;不过,容差仍需根据数据的尺度和精度来选择,不能盲目接受。
Question 8
一个模型把 U⊥ 中的每个残差都标记为无用。这个结论的哪一部分来自数学,哪一部分超出了数学的支持?
Show the step-by-step solution
有效的部分很有限: 意味着它与 中的每个方向的内积都为零,因此只对这些方向评分的线性读出无法通过同一个内积从 得到贡献。说 无用则超出了数学支持。它可以有非零范数,编码另一个线性方向,携带非线性结构,或对后续层或另一种度量有用。