AI 表示可以使用一个比原始特征轴更容易阅读的坐标系。最方便的情况是使用正交规范基:它的方向彼此垂直,并且每个方向的长度都是 1。在这样的基中,信号沿某个方向的分量就是一个内积。不需要求解小型线性方程组,也不需要为被拉伸的坐标轴做修正。
学完本课后,你将能够验证一个基是否正交规范,并用内积计算向量的坐标。你还会知道,正交的特征方向可以减少线性重叠,但这并不能证明底层随机变量相互独立。
**学习成果:**用内积验证正交规范性并计算坐标。
本课结合了第 031 课:基提供紧凑的坐标系中关于基下坐标唯一性的内容,以及第 045 课:正交意味着没有线性重叠中关于零内积检验的内容。官方的Mathematics for Machine Learning一书将这一思想放在第 3.5 节。本文的解释、数值例子、代码、视觉呈现、AI 连接和评估题均为原创。
垂直的单位向量构成易读的坐标框架
设 u1,…,un 是 Rn 中的向量。当每个向量的欧几里得长度都是单位长度,并且每一对不同向量都正交时,这个基就是正交规范基。这两个要求可以写成一个规则:
“基”这个词仍然重要。平面中一对相互垂直的单位向量可以到达该平面中的每个点,因此它们是这个平面的一个基。在更高维的空间中,向量列表必须包含足够的方向,才能覆盖所表示的空间。正交规范性让基特别容易使用;它不会改变维度,也不会创建新的向量空间。
假设信号 v 在这个基下写成
v=c1u1+c2u2+⋯+cnun.
与某个基向量(例如 uj)取内积:
⟨uj,v⟩=⟨uj,i=1∑nciui⟩=i=1∑nci⟨uj,ui⟩=cj.
除了 i=j 的项以外,每一项都会消失:正交性让其他内积为零,而单位长度让留下的内积为一。因此坐标可以直接读取为
cj=⟨uj,v⟩=ujTv.
对于完整的方阵基,这条规则变成两个相互对应的操作:
c=UTv,v=Uc.
转置矩阵负责读取坐标。原矩阵负责重建信号。
一个坐标读取的完整例子
使用下面两个候选方向:
u1=[3/54/5],u2=[−4/53/5].
它们相对于标准的水平轴和垂直轴发生了旋转,但分数让检验可以精确进行。
下面的坐标读取器使用同一个固定基和三个小信号。改变信号会改变端点和两个内积;基向量箭头仍保持彼此垂直且长度为 1。该表与视觉组件一起渲染,因此在 JavaScript 运行前,以及不使用图形的读者面前,计算仍然可用。
在正交规范基中读取坐标
固定基: u₁ = (3/5, 4/5),u₂ = (−4/5, 3/5)
下方的表格始终是坐标图的完整数值替代方案。
当前读取结果: 信号 A
- 标准坐标中的向量
- (2, 1)
- 内积坐标
- (2, −1)
- 重建结果
- (2, 1)
每个可用信号及其在固定基下的坐标。| 信号 | 向量 | ⟨v, u₁⟩ | ⟨v, u₂⟩ |
|---|
| 信号 A | (2, 1) | 2 | −1 |
|---|
| 信号 B | (1, 2) | 2.2 | 0.4 |
|---|
| 信号 C | (−1, 1) | 0.2 | 1.4 |
|---|
由于显示的基是正交规范基,系数通过内积计算。
两个基向量箭头始终彼此垂直且长度为 1。选择一个信号,查看其内积坐标,以及返回同一端点的重建结果。
NumPy 可以验证并读取这个基
对于一维数组,NumPy 将 numpy.inner 定义为普通内积。numpy.linalg.norm 计算向量范数;对于一维数组的默认阶数,它就是本文使用的欧几里得长度。下面的代码将基向量作为 U 的列保存,因此 U.T @ v 会在一个操作中执行两个内积。
import numpy as np
U = np.array([
[3 / 5, -4 / 5],
[4 / 5, 3 / 5],
], dtype=float) # u1 and u2 are columns
v = np.array([2.0, 1.0])
gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates
print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))
输出为:
[[1. 0.]
[0. 1.]]
[ 2. -1.]
[2. 1.]
True
True
U.T @ U 检验正交规范性,U.T @ v 读取坐标,U @ coordinates 重建信号。allclose 调用适合浮点计算:小数实现可能在精确为零的地方产生类似 2.220446049250313e-16 的微小数值。它们不会把任意矩阵变成正交规范基;它们只会将计算结果与某个容差进行比较。
一个常见错误是弄错方向。如果基向量按行保存,乘法顺序就会改变。先决定方向是由行还是列承载,写下预期的形状,并检查重建结果,而不要因为某个乘法恰好能够进行就认为它有意义。
这如何帮助 AI 表示
假设一个编码器用两个学习到的方向表示中心化信号 v。如果这些方向构成正交规范基,表示就可以保存为 c=UTv。每个坐标报告信号沿一个方向的有符号分量,平方长度也能清楚地分离:
∥v∥22=∥c1u1+c2u2∥22=c12+c22.
交叉项会消失,因为 u1Tu2=0。因此,下游线性读取器可以推理某一个坐标,而不会因为基的几何关系意外地加入另一个坐标的成分。
这就是去相关轴的几何含义:在指定的内积下,所选方向之间没有线性重叠。这一说法有用,但比“这些特征互不相关”更窄;后者可能被理解为更强的断言。
主成分分析是一个常见的实现环境。当前的 scikit-learn PCA 文档将 PCA 描述为把中心化数据投影到正交成分上。它的 whiten=True 选项还会额外缩放变换后的成分,使每个成分的方差为 1;普通正交性并不意味着所有成分具有相同方差。因此,PCA 可以提供一个正交坐标框架,而白化是另一个独立的尺度选择。
防止过度断言的三个边界
非正交规范基仍然可用,但快捷方式不成立
取 b1=(1,0)T 和 b2=(1,1)T。它们构成 R2 的一个基:它们线性无关并且张成整个平面。但 b2 的长度是 2,而且两个向量不正交。对于 v=(2,3)T,内积为
⟨b1,v⟩=2,⟨b2,v⟩=5,
它们并不是坐标。应当求解实际的线性组合:
c1b1+c2b2=[c1+c2c2]=[23].
第二行给出 c2=3,然后第一行给出 c1=−1。坐标是 (−1,3),而不是 (2,5)。如果一个基是正交的但向量长度不是单位长度,那么还可以保留一个部分快捷方式:
cj=∥bj∥22⟨bj,v⟩.
对于完全非正交的基,交叉项会保留,坐标问题会变成一个涉及基的 Gram 矩阵的线性系统。
零向量没有可规范化的方向
零向量满足对每个 x 都有 0Tx=0,所以代数定义称它与每个向量正交。但 ∥0∥2=0,而 0/∥0∥2 没有定义。它不能成为正交规范基的成员:它没有方向,并且与任何包含它的列表都线性相关。零向量可以是一个所有坐标都为零的信号;但它不能成为用于读取这些坐标的轴之一。
正交性不等于统计独立
这些词回答的是不同问题:
| 术语 | 比较的对象 | 零条件意味着什么 | 它不能证明什么 |
|---|
| 正交性 | 所选内积空间中的固定向量 | 它们的内积为零 | 数据中不存在非线性关系 |
| 去相关 | 中心化随机变量或数据集列 | 在指定的样本约定下协方差为零 | 统计独立 |
| 独立性 | 联合概率分布 | 联合分布可以分解为边缘分布的乘积 | 不能由一个点积检验得到 |
下面是一个小型反例。令
x=(−1,0,1),y=(1,−2,1)=3x2−2
其中最后一个等式按坐标逐项计算。两列都已中心化,并且
xTy=(−1)(1)+0(−2)+1(1)=0.
因此它们的经验协方差为零,但 y 通过非线性规则完全由 x 决定。线性重叠检验遗漏了这种依赖;它没有证明独立性。在 AI 流水线中,除非有单独的概率论论证支持更强的说法,否则应称结果为“正交”或“在这个中心化样本上不相关”。
检查你的理解
Question 1
u₁=(0, 1) 和 u₂=(−1, 0) 是否构成 ℝ² 的正交规范基?验证两个要求并解释结论。
Show the step-by-step solution
计算两个长度:
∥u1∥2=02+12=1,∥u2∥2=(−1)2+02=1.现在计算交叉内积:
u1Tu2=0(−1)+1(0)=0.这两个向量长度为单位长度且彼此垂直。它们也是 R2 中的两个独立方向,因此构成一个正交规范基。
Question 2
使用 u₁=(3/5, 4/5) 和 u₂=(−4/5, 3/5),用内积计算 v=(1, 2) 的坐标。
Show the step-by-step solution
因为这个基是正交规范的,所以每个坐标计算一个内积:
c1c2=u1Tv=53(1)+54(2)=511,=u2Tv=−54(1)+53(2)=52.所以 [v]U=(11/5,2/5)T。检查重建的第一个分量:
51153+52(−54)=2533−8=1.第二个分量为
51154+5253=2544+6=2,因此坐标确实重建了 (1,2)。
Question 3
在本课的固定基下,坐标对 (3, −2) 表示哪个标准坐标向量?先写出线性组合,再化简。
Show the step-by-step solution
从基坐标的定义开始:
v=3u1−2u2=3[3/54/5]−2[−4/53/5].合并对应分量:
v=[9/5+8/512/5−6/5]=[17/56/5].坐标对本身不是标准坐标向量;它是必须应用到两个基方向上的系数。
Question 4
当 v=Σᵢ cᵢuᵢ 时,为什么 cⱼ=⟨uⱼ,v⟩ 能隔离出一个坐标?请给出移除其他项的两个性质。
Show the step-by-step solution
与 uj 取内积,并将内积分配到求和中:
⟨uj,v⟩=⟨uj,i∑ciui⟩=i∑ci⟨uj,ui⟩.对于每个 i=j,正交性给出 ⟨uj,ui⟩=0,因此这些项消失。对于 i=j,单位长度给出 ⟨uj,uj⟩=1,留下 cj⋅1=cj。两个性质都不可缺少:互相垂直但长度被拉伸的向量会留下长度平方因子,而长度为单位但不正交的向量会留下交叉项。
Question 5
对于 b₁=(1, 0)、b₂=(1, 1) 和 v=(2, 3),解释为什么内积不是坐标,并求出实际坐标。
Show the step-by-step solution
先检查快捷方式所需的条件。第二个向量的长度为 2,并且
b1Tb2=1(1)+0(1)=1=0,所以这个基既不正交,也不正交规范。内积为 b1Tv=2 和 b2Tv=5,但这些数字不具有快捷方式中的含义。
求解定义中的线性组合:
c1b1+c2b2=[c1+c2c2]=[23].第二行给出 c2=3;代回第一行得到 c1+3=2,所以 c1=−1。实际坐标是 (−1,3)。
Question 6
一位同事说,零向量与每个向量的点积都是零,所以它是一个有效的正交规范方向。这一推理错在哪里?
Show the step-by-step solution
点积的说法在代数上是正确的:0Tx=0。但正交规范向量还必须具有范数 1,而
∥0∥2=0.它没有可以规范化的方向,因为除以它的范数会要求除以零。因此,零向量虽然在代数的零内积意义下与每个向量正交,却被排除在正交规范基之外。
Question 7
中心化样本 x=(−1, 0, 1) 和 y=(1, −2, 1) 的点积为零。这是否证明 x 和 y 在统计上独立?利用它们之间的关系作出判断。
Show the step-by-step solution
它们的点积为
(−1)(1)+0(−2)+1(1)=0,所以在中心化样本的约定下,它们的经验协方差为零。然而,y 的每个值都通过 y=3x2−2 由 x 决定。这是确定性的非线性关系,因此这些变量并不独立。零点积排除了该样本中测得的线性共同变化;它没有排除非线性依赖。
Question 8
在 NumPy 代码中,U 将基方向存储为列。一个错误将 coordinates = U.T @ v 替换为 coordinates = U @ v。什么检验应该发现这个错误?为什么 U.T 是正确的读取器?
Show the step-by-step solution
重建检验应当使用 np.allclose 将 U @ coordinates 与 v 进行比较。预期的坐标方程是
c=UTv,因为它的第 j 个元素就是第 j 列 uj 与 v 的点积。然后,对于完整的正交规范基,
Uc=U(UTv)=v.用 U 替换 UT 会计算出由行和列构成的另一个线性组合;它可能仍然产生形状正确的向量,但重建比较会暴露出它并不包含预期的内积坐标。