AI 数学课程 · 第 51 课,共 180

投影矩阵变换整个数据集

构造一个直线投影矩阵,将它应用于数据集的每一行,并用 NumPy 检查验证几何中的对称性与幂等性。

分享这篇文章

投影可以用一个方向解释一个观测。对于 AI 流水线,更有用的问题是:当观测变成一个数据集时会发生什么?能否用同一个小型线性规则一致地变换每一行?

可以。投影矩阵把同一个最近点运算应用到每个样本。它保留沿所选方向的分量,并移除正交分量,因此点云会变成沿单一方向的表示,同时每个输出仍然保留原来的坐标数量。

学完本课,你将能够构造一个直线投影矩阵,将它应用于按行存储的数据集,并检查使它成为投影的两个恒等式:对称性与幂等性。

**学习目标:**构造并检查一个简单的投影矩阵。

本课建立在第 035 课:矩阵表示线性映射中矩阵成为可复用规则的内容之上,也建立在第 050 课:投影找到最近的点中把一个向量投影到直线上的内容之上。官方 Mathematics for Machine Learning 一书的第 3.8 节介绍了投影矩阵的构造。这里的数据集、计算、视觉、NumPy 实现和评估题都是原创内容。

把一条直线的投影变成矩阵

设 b∈Rdb\in\mathbb{R}^d 是一个非零方向向量,设 U=span⁡{b}U=\operatorname{span}\{b\} 是它定义的、经过原点的直线。对于一个列向量观测 x∈Rdx\in\mathbb{R}^d,上一课给出了

proj⁡U(x)=xTbbTbb.\operatorname{proj}_{U}(x)=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b.

标量 xTbx^{\mathsf T}b 是点积。把右侧改写成让 xx 成为最后一个因子:

xTbbTbb=bbTbTbx.\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}x.

这个变形揭示了一个可复用的线性规则。

这个矩阵有两个直接的几何结论。首先,

PT=(bbTbTb)T=bbTbTb=P,P^{\mathsf T} =\left(\frac{bb^{\mathsf T}}{b^{\mathsf T}b}\right)^{\mathsf T} =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}=P,

所以 PP 是对称的。其次,一旦向量已经到达直线,再次投影不会改变它:

P2=P.P^2=P.

这叫作幂等性。令 c=bTbc=b^{\mathsf T}b,就可以看出它为什么成立:

P2=bbTcbbTc=b(bTb)bTc2=bcbTc2=P.P^2=\frac{bb^{\mathsf T}}{c}\frac{bb^{\mathsf T}}{c} =\frac{b(b^{\mathsf T}b)b^{\mathsf T}}{c^2} =\frac{bc b^{\mathsf T}}{c^2}=P.

对称性描述了直角几何;幂等性描述了输出已经稳定在目标直线上的事实。这两个性质都不表示 PP 可逆。单方向投影通常会丢弃其他 d−1d-1 个方向。

把同一规则应用于按行存储的数据集

AI 数据通常按每行一个样本的方式存储。设

X=[x1Tx2T⋮xmT]∈Rm×d,X=\begin{bmatrix} x_1^{\mathsf T}\\ x_2^{\mathsf T}\\ \vdots\\ x_m^{\mathsf T} \end{bmatrix}\in\mathbb{R}^{m\times d},

其中 mm 是样本数,dd 是特征数。由于 PP 对称,右乘会把列向量投影应用到每一行的转置上:

Y=XP=[x1TPx2TP⋮xmTP].Y=XP =\begin{bmatrix} x_1^{\mathsf T}P\\ x_2^{\mathsf T}P\\ \vdots\\ x_m^{\mathsf T}P \end{bmatrix}.

YY 的每一行仍然有 dd 个元素,但每一行都落在一维直线 UU 上。数据还没有被压缩成一个坐标。系数矩阵

z=XbbTb∈Rmz=\frac{Xb}{b^{\mathsf T}b}\in\mathbb{R}^{m}

为每个样本存储一个坐标,而重构结果是 Y=zbTY=z b^{\mathsf T}。当下游代码需要原始特征宽度时,保留 YY 很方便;当目标是紧凑的单数字表示时,保留 zz 很方便。

一个四样本点云,用两种方式变换

使用方向

b=[21],bTb=22+12=5.b=\begin{bmatrix}2\\1\end{bmatrix}, \qquad b^{\mathsf T}b=2^2+1^2=5.

外积和投影矩阵是

bbT=[21][21]=[4221],P=15[4221]=[0.80.40.40.2].bb^{\mathsf T} =\begin{bmatrix}2\\1\end{bmatrix}\begin{bmatrix}2&1\end{bmatrix} =\begin{bmatrix}4&2\\2&1\end{bmatrix}, \qquad P=\frac15\begin{bmatrix}4&2\\2&1\end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}.

把四个二维观测作为行:

X=[3113−2−104].X=\begin{bmatrix} 3&1\\ 1&3\\ -2&-1\\ 0&4 \end{bmatrix}.
一个投影矩阵,四个数据集行同一个直线投影把每个琥珀色观测移到 U 上的绿色点。矩阵卡片展示了应用于整个按行存储数据集的规则。

几何:每一行都移到 U

四行数据集的原始点与投影点四个琥珀色观测通过虚线残差连接到 U 上的绿色投影点;U 由 b 等于 (2, 1) 张成。旁边的表格给出每个原始点、投影系数、投影点和残差。U = span{b}x₁x₂x₁x₂x₃x₄
  • 原始观测
  • 投影观测
  • 目标直线 U

矩阵:一条规则处理所有行

P =154  22  1

样本按行存储时,将 X 在右侧乘以 P。

Y = X @ P

所绘点云的精确数值回退表。
样本原始 xᵢ系数 zᵢ投影 yᵢ残差 xᵢ − yᵢ
x₁(3, 1)1.4(2.8, 1.4)(0.2, −0.4)
x₂(1, 3)1(2, 1)(−1, 2)
x₃(−2, −1)−1(−2, −1)(0, 0)
x₄(0, 4)0.8(1.6, 0.8)(−1.6, 3.2)

点图展示几何关系;表格保留具体数值,不依赖颜色、比例或交互视图。

这个视觉揭示了一个有用的区别。矩阵是针对每个输入的规则,而不是这四个点的查找表。同一特征空间中的任何新行都可以乘以同一个 PP,而已经在 UU 上的点保持不变。

用 NumPy 检查矩阵

NumPy 的 outer 计算两个向量的外积,从而构造分子 bbTbb^{\mathsf T}。它的 matmul 函数执行矩阵乘法;@ 运算符是它的数组简写。因此,我们可以把按行存储的变换写成 X @ P,并用带有 axis=1 的 linalg.norm 测量每一行残差的长度。

allclose 会在指定容差内检查数值相等。下面的检查不会取代代数推导:它们会捕捉实现错误,同时承认浮点运算可能留下极小的余数,而不是字面上的零。

import numpy as np

b = np.array([2.0, 1.0])
X = np.array(
    [
        [3.0, 1.0],
        [1.0, 3.0],
        [-2.0, -1.0],
        [0.0, 4.0],
    ]
)

P = np.outer(b, b) / np.dot(b, b)
Y = X @ P
residuals = X - Y
residual_lengths = np.linalg.norm(residuals, axis=1)

tolerance = 1e-12
symmetric = np.allclose(P.T, P, rtol=0.0, atol=tolerance)
idempotent = np.allclose(P @ P, P, rtol=0.0, atol=tolerance)
already_projected = np.allclose(Y @ P, Y, rtol=0.0, atol=tolerance)

print(P)
print(Y)
print(residual_lengths)
print(symmetric, idempotent, already_projected)

验证输出:

[[0.8 0.4]
 [0.4 0.2]]
[[ 2.8  1.4]
 [ 2.   1. ]
 [-2.  -1. ]
 [ 1.6  0.8]]
[0.4472136  2.23606798 0.         3.57770876]
True True True

三个布尔结果回答了不同的问题。symmetric 检查矩阵的转置恒等式,idempotent 检查 P2=PP^2=P,而 already_projected 检查整个变换后的数据集在第二次处理时是否保持不变。残差长度显示,一个点可能恰好位于目标直线上、误差为零,而另一个点仍可能保留很大的正交分量。

矩阵保留什么——又无法保留什么

对于任意向量 xx,输出 PxPx 都位于 UU 上。系数 z=(xTb)/(bTb)z=(x^{\mathsf T}b)/(b^{\mathsf T}b) 是所选直线能够解释的 xx 的部分,而 x−Pxx-Px 与 bb 垂直。因此,这个投影是对一个 dd 维观测的一维模型。

这就是降维的基本形式:选择一个更低维的特征空间,在其中保留最近的点,并度量剩下的重构误差。在嵌入或特征流水线中,一个方向可以代表一个学习到的模式,而 zz 可以保留该模式的强度。投影矩阵可以把同一表示规则应用到一个批次,但保留哪些信息仍由方向的选择决定。较小的残差表示“在这条欧氏直线下很接近”,并不表示“样本的含义已经被完全捕捉”。

边界情况与布局陷阱

零方向不是一条直线。 如果 b=0b=0,那么 bTb=0b^{\mathsf T}b=0,公式会除以零。生产函数应该拒绝这个输入,而不是产生 nan 值,或悄悄把零向量称作一个方向。

偏移直线需要先中心化。 上面的矩阵投影到一条经过原点的直线。对于仿射直线 c+tbc+tb,先投影 x−cx-c,再加回 cc:

c+(x−c)TbbTbb.c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

直接把 PP 应用于 xx 会使用错误的直线。对于整个数据集,在矩阵乘法之前从每一行减去 cc,之后再加回它。

不要让存储方向替你决定数学运算。 对于行矩阵 X∈Rm×dX\in\mathbb{R}^{m\times d},使用 XPXP;对于列矩阵,使用 PXcolPX_{\mathrm{col}}。转置后的数据集可能让错误的乘法看起来合理,同时交换“样本数量”和“特征数量”。在解释输出前检查形状。

第 050 课中的单向量投影变成了批量操作,但几何性质没有变化。第 052 课将把同一个最近点思想用于由多个列生成的子空间,此时投影矩阵可以保留不止一个学习到的方向。

检查你的理解

问题 1

对于 b = (1, 2),构造投影矩阵 P = bbᵀ/(bᵀb),并说明它的形状。

显示分步解答

先计算分母:

bTb=12+22=5.b^{\mathsf T}b=1^2+2^2=5.

然后构造外积,把 bb 放在左因子,把 bTb^{\mathsf T} 放在上方因子:

bbT=[12][12]=[1224].bb^{\mathsf T} =\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}1&2\end{bmatrix} =\begin{bmatrix}1&2\\2&4\end{bmatrix}.

因此

P=15[1224]=[0.20.40.40.8].P=\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix} =\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}.

因为 bb 有两个坐标,所以 PP 是一个 2×22\times2 矩阵。

问题 2

使用 b = (2, 1) 和 x = (1, 3),计算投影系数与投影点。

显示分步解答

计算点积和平方长度:

xTb=1⋅2+3⋅1=5,bTb=22+12=5.x^{\mathsf T}b=1\cdot2+3\cdot1=5, \qquad b^{\mathsf T}b=2^2+1^2=5.

系数是 z=5/5=1z=5/5=1。将它乘以方向向量:

proj⁡U(x)=zb=1(2,1)=(2,1).\operatorname{proj}_{U}(x)=zb=1(2,1)=(2,1).

结果位于 UU 上,因为它是 bb 的一个标量倍数。

问题 3

数据集 X 有四行和两个特征列。对 P 进行按行投影时,应使用 X @ P 还是 P @ X?请解释矩阵的维度。

显示分步解答

XX 的形状是 4×24\times2,而二维特征的投影矩阵形状是 2×22\times2。乘积

XP:(4×2)(2×2)⟶4×2XP:(4\times2)(2\times2)\longrightarrow4\times2

是有定义的,并且为每个样本保留一行。因此按行操作是 X @ P。乘积 PXPX 会尝试将一个 2×22\times2 矩阵与一个 4×24\times2 矩阵相乘;内维度 22 和 44 不匹配。如果样本以列的形式存储在一个 2×42\times4 矩阵中,那么 PP 就会在左侧作用。

问题 4

对于 P = [[0.8, 0.4], [0.4, 0.2]],通过计算 P² 验证幂等性。这个结果对投影后的数据集意味着什么?

显示分步解答

将矩阵与自身相乘:

P2=[0.80.40.40.2][0.80.40.40.2]=[0.64+0.160.32+0.080.32+0.080.16+0.04]=[0.80.40.40.2]=P.P^2 =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} \begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} =\begin{bmatrix} 0.64+0.16&0.32+0.08\\ 0.32+0.08&0.16+0.04 \end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}=P.

因此 (XP)P=X(P2)=XP(XP)P=X(P^2)=XP。第二次处理会让每个投影后的行保持不变;它不会继续缩小数据集。

问题 5

为什么直线投影矩阵是对称的?这与残差有什么关系?

显示分步解答

矩阵是

P=bbTbTb.P=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}.

分母是标量,转置分子时因子顺序反转:

(bbT)T=bbT.(bb^{\mathsf T})^{\mathsf T}=bb^{\mathsf T}.

所以 PT=PP^{\mathsf T}=P。从几何上看,投影使用通常的欧氏内积,因此差值 x−Pxx-Px 与 bb 的点积为零。对称性是这种正交直角投影的代数特征;它本身并不意味着每个向量都会被保留。

问题 6

一位工程师说:“因为 P 有两行两列,所以它保留两个独立方向。”请针对非零二维方向 b 修正这个说法。

显示分步解答

矩阵的形状不等于它包含的独立方向数量。P=bbT/(bTb)P=bb^{\mathsf T}/(b^{\mathsf T}b) 的两列都是 bb 的标量倍数,因此它们的列空间只张成一维直线 UU。任何与 bb 垂直的分量都会被移除。因此,一个 2×22\times2 的投影矩阵可以有秩一:它保留一个方向,但使用两个坐标存储每个输出点。

问题 7

当 b = [0.0, 0.0] 时,NumPy 实现应该做什么?为什么在分母中加一个很小的数不是忠实的修复?

显示分步解答

零向量没有定义一条直线,其分母为 bTb=0b^{\mathsf T}b=0。实现应该显式拒绝它,例如检查平方范数是否大于零,并说明输入无效。在分母中加入任意一个很小的数,会为一个未定义的几何任务制造一个非常大或不稳定的矩阵。数值正则化可能适用于另一个明确定义的问题,但它不会把零向量变成一个方向。

问题 8

对于仿射直线 c + tb,为什么不能直接把原点直线的矩阵 P 应用于 x?给出按行数据集的修正操作。

显示分步解答

矩阵 PP 映射到一条经过原点的直线。仿射直线有偏移 cc,所以相关向量是 x−cx-c,而不是 xx。对于数据集的每一行,先中心化,再投影,最后恢复偏移:

Y=(X−1cT)P+1cT,Y=(X-\mathbf{1}c^{\mathsf T})P+\mathbf{1}c^{\mathsf T},

其中 1\mathbf{1} 是一个有 mm 个元素的全一列向量。减法和加法都是按行进行的。不中心化就应用 XPXP,会把数据投影到经过零点的平行直线上,从而回答另一个问题。

资料来源

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.outer
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose