AI 数学课程 · 第 46 课,共 180

正交规范基让坐标读取更简单

用内积验证正交规范基并恢复信号坐标,再将这一计算连接到去相关的 AI 特征。

分享这篇文章

AI 表示可以使用一个比原始特征轴更容易阅读的坐标系。最方便的情况是使用正交规范基:它的方向彼此垂直,并且每个方向的长度都是 1。在这样的基中,信号沿某个方向的分量就是一个内积。不需要求解小型线性方程组,也不需要为被拉伸的坐标轴做修正。

学完本课后,你将能够验证一个基是否正交规范,并用内积计算向量的坐标。你还会知道,正交的特征方向可以减少线性重叠,但这并不能证明底层随机变量相互独立。

**学习成果:**用内积验证正交规范性并计算坐标。

本课结合了第 031 课:基提供紧凑的坐标系中关于基下坐标唯一性的内容,以及第 045 课:正交意味着没有线性重叠中关于零内积检验的内容。官方的Mathematics for Machine Learning一书将这一思想放在第 3.5 节。本文的解释、数值例子、代码、视觉呈现、AI 连接和评估题均为原创。

垂直的单位向量构成易读的坐标框架

设 u1,…,unu_1,\ldots,u_n 是 Rn\mathbb{R}^n 中的向量。当每个向量的欧几里得长度都是单位长度,并且每一对不同向量都正交时,这个基就是正交规范基。这两个要求可以写成一个规则:

“基”这个词仍然重要。平面中一对相互垂直的单位向量可以到达该平面中的每个点,因此它们是这个平面的一个基。在更高维的空间中,向量列表必须包含足够的方向,才能覆盖所表示的空间。正交规范性让基特别容易使用;它不会改变维度,也不会创建新的向量空间。

假设信号 vv 在这个基下写成

v=c1u1+c2u2+⋯+cnun.v=c_1u_1+c_2u_2+\cdots+c_nu_n.

与某个基向量(例如 uju_j)取内积:

⟨uj,v⟩=⟨uj,∑i=1nciui⟩=∑i=1nci⟨uj,ui⟩=cj.\begin{aligned} \langle u_j,v\rangle &=\left\langle u_j,\sum_{i=1}^{n}c_i u_i\right\rangle\\ &=\sum_{i=1}^{n}c_i\langle u_j,u_i\rangle\\ &=c_j. \end{aligned}

除了 i=ji=j 的项以外,每一项都会消失:正交性让其他内积为零,而单位长度让留下的内积为一。因此坐标可以直接读取为

cj=⟨uj,v⟩=ujTv.\boxed{c_j=\langle u_j,v\rangle=u_j^{\mathsf T}v.}

对于完整的方阵基,这条规则变成两个相互对应的操作:

c=UTv,v=Uc.\boldsymbol{c}=U^{\mathsf T}v, \qquad v=U\boldsymbol{c}.

转置矩阵负责读取坐标。原矩阵负责重建信号。

一个坐标读取的完整例子

使用下面两个候选方向:

u1=[3/54/5],u2=[−4/53/5].u_1=\begin{bmatrix}3/5\\4/5\end{bmatrix}, \qquad u_2=\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

它们相对于标准的水平轴和垂直轴发生了旋转,但分数让检验可以精确进行。

下面的坐标读取器使用同一个固定基和三个小信号。改变信号会改变端点和两个内积;基向量箭头仍保持彼此垂直且长度为 1。该表与视觉组件一起渲染,因此在 JavaScript 运行前,以及不使用图形的读者面前,计算仍然可用。

在正交规范基中读取坐标

固定基: u₁ = (3/5, 4/5),u₂ = (−4/5, 3/5)

下方的表格始终是坐标图的完整数值替代方案。

在正交规范基中读取坐标v = (2, 1)。两个基向量箭头分别终止于 (0.6, 0.8) 和 (−0.8, 0.6);坐标读数和表格给出精确的内积。x₁x₂u₁u₂v

当前读取结果: 信号 A

标准坐标中的向量
(2, 1)
内积坐标
(2, −1)
重建结果
(2, 1)
每个可用信号及其在固定基下的坐标。
信号向量⟨v, u₁⟩⟨v, u₂⟩
信号 A(2, 1)2−1
信号 B(1, 2)2.20.4
信号 C(−1, 1)0.21.4

由于显示的基是正交规范基,系数通过内积计算。

两个基向量箭头始终彼此垂直且长度为 1。选择一个信号,查看其内积坐标,以及返回同一端点的重建结果。

NumPy 可以验证并读取这个基

对于一维数组,NumPy 将 numpy.inner 定义为普通内积。numpy.linalg.norm 计算向量范数;对于一维数组的默认阶数,它就是本文使用的欧几里得长度。下面的代码将基向量作为 UU 的列保存,因此 U.T @ v 会在一个操作中执行两个内积。

import numpy as np

U = np.array([
    [3 / 5, -4 / 5],
    [4 / 5,  3 / 5],
], dtype=float)  # u1 and u2 are columns
v = np.array([2.0, 1.0])

gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates

print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))

输出为:

[[1. 0.]
 [0. 1.]]
[ 2. -1.]
[2. 1.]
True
True

U.T @ U 检验正交规范性,U.T @ v 读取坐标,U @ coordinates 重建信号。allclose 调用适合浮点计算:小数实现可能在精确为零的地方产生类似 2.220446049250313e-16 的微小数值。它们不会把任意矩阵变成正交规范基;它们只会将计算结果与某个容差进行比较。

一个常见错误是弄错方向。如果基向量按行保存,乘法顺序就会改变。先决定方向是由行还是列承载,写下预期的形状,并检查重建结果,而不要因为某个乘法恰好能够进行就认为它有意义。

这如何帮助 AI 表示

假设一个编码器用两个学习到的方向表示中心化信号 vv。如果这些方向构成正交规范基,表示就可以保存为 c=UTvc=U^{\mathsf T}v。每个坐标报告信号沿一个方向的有符号分量,平方长度也能清楚地分离:

∥v∥22=∥c1u1+c2u2∥22=c12+c22.\lVert v\rVert_2^2 =\lVert c_1u_1+c_2u_2\rVert_2^2 =c_1^2+c_2^2.

交叉项会消失,因为 u1Tu2=0u_1^{\mathsf T}u_2=0。因此,下游线性读取器可以推理某一个坐标,而不会因为基的几何关系意外地加入另一个坐标的成分。

这就是去相关轴的几何含义:在指定的内积下,所选方向之间没有线性重叠。这一说法有用,但比“这些特征互不相关”更窄;后者可能被理解为更强的断言。

主成分分析是一个常见的实现环境。当前的 scikit-learn PCA 文档将 PCA 描述为把中心化数据投影到正交成分上。它的 whiten=True 选项还会额外缩放变换后的成分,使每个成分的方差为 1;普通正交性并不意味着所有成分具有相同方差。因此,PCA 可以提供一个正交坐标框架,而白化是另一个独立的尺度选择。

防止过度断言的三个边界

非正交规范基仍然可用,但快捷方式不成立

取 b1=(1,0)Tb_1=(1,0)^{\mathsf T} 和 b2=(1,1)Tb_2=(1,1)^{\mathsf T}。它们构成 R2\mathbb{R}^2 的一个基:它们线性无关并且张成整个平面。但 b2b_2 的长度是 2\sqrt{2},而且两个向量不正交。对于 v=(2,3)Tv=(2,3)^{\mathsf T},内积为

⟨b1,v⟩=2,⟨b2,v⟩=5,\langle b_1,v\rangle=2, \qquad \langle b_2,v\rangle=5,

它们并不是坐标。应当求解实际的线性组合:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

第二行给出 c2=3c_2=3,然后第一行给出 c1=−1c_1=-1。坐标是 (−1,3)(-1,3),而不是 (2,5)(2,5)。如果一个基是正交的但向量长度不是单位长度,那么还可以保留一个部分快捷方式:

cj=⟨bj,v⟩∥bj∥22.c_j=\frac{\langle b_j,v\rangle}{\lVert b_j\rVert_2^2}.

对于完全非正交的基,交叉项会保留,坐标问题会变成一个涉及基的 Gram 矩阵的线性系统。

零向量没有可规范化的方向

零向量满足对每个 xx 都有 0Tx=00^{\mathsf T}x=0,所以代数定义称它与每个向量正交。但 ∥0∥2=0\lVert0\rVert_2=0,而 0/∥0∥20/\lVert0\rVert_2 没有定义。它不能成为正交规范基的成员:它没有方向,并且与任何包含它的列表都线性相关。零向量可以是一个所有坐标都为零的信号;但它不能成为用于读取这些坐标的轴之一。

正交性不等于统计独立

这些词回答的是不同问题:

术语比较的对象零条件意味着什么它不能证明什么
正交性所选内积空间中的固定向量它们的内积为零数据中不存在非线性关系
去相关中心化随机变量或数据集列在指定的样本约定下协方差为零统计独立
独立性联合概率分布联合分布可以分解为边缘分布的乘积不能由一个点积检验得到

下面是一个小型反例。令

x=(−1,0,1),y=(1,−2,1)=3x2−2x=(-1,0,1), \qquad y=(1,-2,1)=3x^2-2

其中最后一个等式按坐标逐项计算。两列都已中心化,并且

xTy=(−1)(1)+0(−2)+1(1)=0.x^{\mathsf T}y=(-1)(1)+0(-2)+1(1)=0.

因此它们的经验协方差为零,但 yy 通过非线性规则完全由 xx 决定。线性重叠检验遗漏了这种依赖;它没有证明独立性。在 AI 流水线中,除非有单独的概率论论证支持更强的说法,否则应称结果为“正交”或“在这个中心化样本上不相关”。

检查你的理解

Question 1

u₁=(0, 1) 和 u₂=(−1, 0) 是否构成 ℝ² 的正交规范基?验证两个要求并解释结论。

Show the step-by-step solution

计算两个长度:

∥u1∥2=02+12=1,∥u2∥2=(−1)2+02=1.\lVert u_1\rVert_2=\sqrt{0^2+1^2}=1, \qquad \lVert u_2\rVert_2=\sqrt{(-1)^2+0^2}=1.

现在计算交叉内积:

u1Tu2=0(−1)+1(0)=0.u_1^{\mathsf T}u_2=0(-1)+1(0)=0.

这两个向量长度为单位长度且彼此垂直。它们也是 R2\mathbb{R}^2 中的两个独立方向,因此构成一个正交规范基。

Question 2

使用 u₁=(3/5, 4/5) 和 u₂=(−4/5, 3/5),用内积计算 v=(1, 2) 的坐标。

Show the step-by-step solution

因为这个基是正交规范的,所以每个坐标计算一个内积:

c1=u1Tv=35(1)+45(2)=115,c2=u2Tv=−45(1)+35(2)=25.\begin{aligned} c_1&=u_1^{\mathsf T}v=\frac35(1)+\frac45(2)=\frac{11}{5},\\ c_2&=u_2^{\mathsf T}v=-\frac45(1)+\frac35(2)=\frac25. \end{aligned}

所以 [v]U=(11/5,2/5)T[v]_U=(11/5,2/5)^{\mathsf T}。检查重建的第一个分量:

11535+25(−45)=33−825=1.\frac{11}{5}\frac35+\frac25\left(-\frac45\right) =\frac{33-8}{25}=1.

第二个分量为

11545+2535=44+625=2,\frac{11}{5}\frac45+\frac25\frac35 =\frac{44+6}{25}=2,

因此坐标确实重建了 (1,2)(1,2)。

Question 3

在本课的固定基下,坐标对 (3, −2) 表示哪个标准坐标向量?先写出线性组合,再化简。

Show the step-by-step solution

从基坐标的定义开始:

v=3u1−2u2=3[3/54/5]−2[−4/53/5].v=3u_1-2u_2 =3\begin{bmatrix}3/5\\4/5\end{bmatrix} -2\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

合并对应分量:

v=[9/5+8/512/5−6/5]=[17/56/5].v=\begin{bmatrix}9/5+8/5\\12/5-6/5\end{bmatrix} =\begin{bmatrix}17/5\\6/5\end{bmatrix}.

坐标对本身不是标准坐标向量;它是必须应用到两个基方向上的系数。

Question 4

当 v=Σᵢ cᵢuᵢ 时,为什么 cⱼ=⟨uⱼ,v⟩ 能隔离出一个坐标?请给出移除其他项的两个性质。

Show the step-by-step solution

与 uju_j 取内积,并将内积分配到求和中:

⟨uj,v⟩=⟨uj,∑iciui⟩=∑ici⟨uj,ui⟩.\langle u_j,v\rangle =\left\langle u_j,\sum_i c_i u_i\right\rangle =\sum_i c_i\langle u_j,u_i\rangle.

对于每个 i≠ji\ne j,正交性给出 ⟨uj,ui⟩=0\langle u_j,u_i\rangle=0,因此这些项消失。对于 i=ji=j,单位长度给出 ⟨uj,uj⟩=1\langle u_j,u_j\rangle=1,留下 cj⋅1=cjc_j\cdot1=c_j。两个性质都不可缺少:互相垂直但长度被拉伸的向量会留下长度平方因子,而长度为单位但不正交的向量会留下交叉项。

Question 5

对于 b₁=(1, 0)、b₂=(1, 1) 和 v=(2, 3),解释为什么内积不是坐标,并求出实际坐标。

Show the step-by-step solution

先检查快捷方式所需的条件。第二个向量的长度为 2\sqrt2,并且

b1Tb2=1(1)+0(1)=1≠0,b_1^{\mathsf T}b_2=1(1)+0(1)=1\ne0,

所以这个基既不正交,也不正交规范。内积为 b1Tv=2b_1^{\mathsf T}v=2 和 b2Tv=5b_2^{\mathsf T}v=5,但这些数字不具有快捷方式中的含义。

求解定义中的线性组合:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

第二行给出 c2=3c_2=3;代回第一行得到 c1+3=2c_1+3=2,所以 c1=−1c_1=-1。实际坐标是 (−1,3)(-1,3)。

Question 6

一位同事说,零向量与每个向量的点积都是零,所以它是一个有效的正交规范方向。这一推理错在哪里?

Show the step-by-step solution

点积的说法在代数上是正确的:0Tx=00^{\mathsf T}x=0。但正交规范向量还必须具有范数 1,而

∥0∥2=0.\lVert0\rVert_2=0.

它没有可以规范化的方向,因为除以它的范数会要求除以零。因此,零向量虽然在代数的零内积意义下与每个向量正交,却被排除在正交规范基之外。

Question 7

中心化样本 x=(−1, 0, 1) 和 y=(1, −2, 1) 的点积为零。这是否证明 x 和 y 在统计上独立?利用它们之间的关系作出判断。

Show the step-by-step solution

它们的点积为

(−1)(1)+0(−2)+1(1)=0,(-1)(1)+0(-2)+1(1)=0,

所以在中心化样本的约定下,它们的经验协方差为零。然而,yy 的每个值都通过 y=3x2−2y=3x^2-2 由 xx 决定。这是确定性的非线性关系,因此这些变量并不独立。零点积排除了该样本中测得的线性共同变化;它没有排除非线性依赖。

Question 8

在 NumPy 代码中,U 将基方向存储为列。一个错误将 coordinates = U.T @ v 替换为 coordinates = U @ v。什么检验应该发现这个错误?为什么 U.T 是正确的读取器?

Show the step-by-step solution

重建检验应当使用 np.allclose 将 U @ coordinates 与 v 进行比较。预期的坐标方程是

c=UTv,c=U^{\mathsf T}v,

因为它的第 jj 个元素就是第 jj 列 uju_j 与 vv 的点积。然后,对于完整的正交规范基,

Uc=U(UTv)=v.Uc=U(U^{\mathsf T}v)=v.

用 UU 替换 UTU^{\mathsf T} 会计算出由行和列构成的另一个线性组合;它可能仍然产生形状正确的向量,但重建比较会暴露出它并不包含预期的内积坐标。

资料来源

  1. Mathematics for Machine Learning book PDF, Section 3.5
  2. NumPy documentation: numpy.inner
  3. NumPy documentation: numpy.linalg.norm
  4. scikit-learn documentation: PCA