投影可以用一个方向解释一个观测。对于 AI 流水线,更有用的问题是:当观测变成一个数据集时会发生什么?能否用同一个小型线性规则一致地变换每一行?
可以。投影矩阵 把同一个最近点运算应用到每个样本。它保留沿所选方向的分量,并移除正交分量,因此点云会变成沿单一方向的表示,同时每个输出仍然保留原来的坐标数量。
学完本课,你将能够构造一个直线投影矩阵,将它应用于按行存储的数据集,并检查使它成为投影的两个恒等式:对称性与幂等性。
**学习目标:**构造并检查一个简单的投影矩阵。
本课建立在第 035 课:矩阵表示线性映射 中矩阵成为可复用规则的内容之上,也建立在第 050 课:投影找到最近的点 中把一个向量投影到直线上的内容之上。官方 Mathematics for Machine Learning 一书 的第 3.8 节介绍了投影矩阵的构造。这里的数据集、计算、视觉、NumPy 实现和评估题都是原创内容。
把一条直线的投影变成矩阵
设 b ∈ R d b\in\mathbb{R}^d b ∈ R d 是一个非零方向向量,设 U = span { b } U=\operatorname{span}\{b\} U = span { b } 是它定义的、经过原点的直线。对于一个列向量观测 x ∈ R d x\in\mathbb{R}^d x ∈ R d ,上一课给出了
proj U ( x ) = x T b b T b b . \operatorname{proj}_{U}(x)=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b. proj U ( x ) = b T b x T b b .
标量 x T b x^{\mathsf T}b x T b 是点积。把右侧改写成让 x x x 成为最后一个因子:
x T b b T b b = b b T b T b x . \frac{x^{\mathsf T}b}{b^{\mathsf T}b}b
=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}x. b T b x T b b = b T b b b T x .
这个变形揭示了一个可复用的线性规则。
这个矩阵有两个直接的几何结论。首先,
P T = ( b b T b T b ) T = b b T b T b = P , P^{\mathsf T}
=\left(\frac{bb^{\mathsf T}}{b^{\mathsf T}b}\right)^{\mathsf T}
=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}=P, P T = ( b T b b b T ) T = b T b b b T = P ,
所以 P P P 是对称 的。其次,一旦向量已经到达直线,再次投影不会改变它:
P 2 = P . P^2=P. P 2 = P .
这叫作幂等性 。令 c = b T b c=b^{\mathsf T}b c = b T b ,就可以看出它为什么成立:
P 2 = b b T c b b T c = b ( b T b ) b T c 2 = b c b T c 2 = P . P^2=\frac{bb^{\mathsf T}}{c}\frac{bb^{\mathsf T}}{c}
=\frac{b(b^{\mathsf T}b)b^{\mathsf T}}{c^2}
=\frac{bc b^{\mathsf T}}{c^2}=P. P 2 = c b b T c b b T = c 2 b ( b T b ) b T = c 2 b c b T = P .
对称性描述了直角几何;幂等性描述了输出已经稳定在目标直线上的事实。这两个性质都不表示 P P P 可逆。单方向投影通常会丢弃其他 d − 1 d-1 d − 1 个方向。
把同一规则应用于按行存储的数据集
AI 数据通常按每行一个样本的方式存储。设
X = [ x 1 T x 2 T ⋮ x m T ] ∈ R m × d , X=\begin{bmatrix}
x_1^{\mathsf T}\\
x_2^{\mathsf T}\\
\vdots\\
x_m^{\mathsf T}
\end{bmatrix}\in\mathbb{R}^{m\times d}, X = x 1 T x 2 T ⋮ x m T ∈ R m × d ,
其中 m m m 是样本数,d d d 是特征数。由于 P P P 对称,右乘会把列向量投影应用到每一行的转置上:
Y = X P = [ x 1 T P x 2 T P ⋮ x m T P ] . Y=XP
=\begin{bmatrix}
x_1^{\mathsf T}P\\
x_2^{\mathsf T}P\\
\vdots\\
x_m^{\mathsf T}P
\end{bmatrix}. Y = X P = x 1 T P x 2 T P ⋮ x m T P .
Y Y Y 的每一行仍然有 d d d 个元素,但每一行都落在一维直线 U U U 上。数据还没有被压缩成一个坐标。系数矩阵
z = X b b T b ∈ R m z=\frac{Xb}{b^{\mathsf T}b}\in\mathbb{R}^{m} z = b T b X b ∈ R m
为每个样本存储一个坐标,而重构结果是 Y = z b T Y=z b^{\mathsf T} Y = z b T 。当下游代码需要原始特征宽度时,保留 Y Y Y 很方便;当目标是紧凑的单数字表示时,保留 z z z 很方便。
一个四样本点云,用两种方式变换
使用方向
b = [ 2 1 ] , b T b = 2 2 + 1 2 = 5. b=\begin{bmatrix}2\\1\end{bmatrix},
\qquad b^{\mathsf T}b=2^2+1^2=5. b = [ 2 1 ] , b T b = 2 2 + 1 2 = 5.
外积和投影矩阵是
b b T = [ 2 1 ] [ 2 1 ] = [ 4 2 2 1 ] , P = 1 5 [ 4 2 2 1 ] = [ 0.8 0.4 0.4 0.2 ] . bb^{\mathsf T}
=\begin{bmatrix}2\\1\end{bmatrix}\begin{bmatrix}2&1\end{bmatrix}
=\begin{bmatrix}4&2\\2&1\end{bmatrix},
\qquad
P=\frac15\begin{bmatrix}4&2\\2&1\end{bmatrix}
=\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}. b b T = [ 2 1 ] [ 2 1 ] = [ 4 2 2 1 ] , P = 5 1 [ 4 2 2 1 ] = [ 0.8 0.4 0.4 0.2 ] .
把四个二维观测作为行:
X = [ 3 1 1 3 − 2 − 1 0 4 ] . X=\begin{bmatrix}
3&1\\
1&3\\
-2&-1\\
0&4
\end{bmatrix}. X = 3 1 − 2 0 1 3 − 1 4 .
逐行投影数据集,并将其作为一个矩阵乘积计算
对于第一行 x 1 = ( 3 , 1 ) x_1=(3,1) x 1 = ( 3 , 1 ) ,系数是
z 1 = ( 3 , 1 ) ⋅ ( 2 , 1 ) 5 = 7 5 = 1.4 , z_1=\frac{(3,1)\cdot(2,1)}{5}=\frac{7}{5}=1.4, z 1 = 5 ( 3 , 1 ) ⋅ ( 2 , 1 ) = 5 7 = 1.4 , 因此其投影点是
y 1 = z 1 b = ( 1.4 ) ( 2 , 1 ) = ( 2.8 , 1.4 ) . y_1=z_1b=(1.4)(2,1)=(2.8,1.4). y 1 = z 1 b = ( 1.4 ) ( 2 , 1 ) = ( 2.8 , 1.4 ) . 矩阵乘积一步就能得到相同的结果:
[ 3 1 ] [ 0.8 0.4 0.4 0.2 ] = [ 2.8 1.4 ] . \begin{bmatrix}3&1\end{bmatrix}
\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}
=\begin{bmatrix}2.8&1.4\end{bmatrix}. [ 3 1 ] [ 0.8 0.4 0.4 0.2 ] = [ 2.8 1.4 ] . 对所有行重复这个乘法,得到
Y = X P = [ 2.8 1.4 2 1 − 2 − 1 1.6 0.8 ] . Y=XP
=\begin{bmatrix}
2.8&1.4\\
2&1\\
-2&-1\\
1.6&0.8
\end{bmatrix}. Y = X P = 2.8 2 − 2 1.6 1.4 1 − 1 0.8 . 第二行 ( 1 , 3 ) (1,3) ( 1 , 3 ) 移到 ( 2 , 1 ) (2,1) ( 2 , 1 ) ,第三行原本就在直线上,第四行移到 ( 1.6 , 0.8 ) (1.6,0.8) ( 1.6 , 0.8 ) 。在每种情况下,残差 x i − y i x_i-y_i x i − y i 都与 b b b 垂直。下表用点云和矩阵输出两种形式记录了同一组数值计算。
一个投影矩阵,四个数据集行 同一个直线投影把每个琥珀色观测移到 U 上的绿色点。矩阵卡片展示了应用于整个按行存储数据集的规则。 几何:每一行都移到 U 四行数据集的原始点与投影点 四个琥珀色观测通过虚线残差连接到 U 上的绿色投影点;U 由 b 等于 (2, 1) 张成。旁边的表格给出每个原始点、投影系数、投影点和残差。 U = span{b} x₁ x₂ x₁ x₂ x₃ x₄ 矩阵:一条规则处理所有行 P = 1 5 4 2 2 1
样本按行存储时,将 X 在右侧乘以 P。
Y = X @ P
所绘点云的精确数值回退表。 样本 原始 xᵢ 系数 zᵢ 投影 yᵢ 残差 xᵢ − yᵢ x₁ (3, 1) 1.4 (2.8, 1.4) (0.2, −0.4) x₂ (1, 3) 1 (2, 1) (−1, 2) x₃ (−2, −1) −1 (−2, −1) (0, 0) x₄ (0, 4) 0.8 (1.6, 0.8) (−1.6, 3.2)
点图展示几何关系;表格保留具体数值,不依赖颜色、比例或交互视图。
这个视觉揭示了一个有用的区别。矩阵是针对每个输入的规则,而不是这四个点的查找表。同一特征空间中的任何新行都可以乘以同一个 P P P ,而已经在 U U U 上的点保持不变。
用 NumPy 检查矩阵
NumPy 的 outer 计算两个向量的外积,从而构造分子 b b T bb^{\mathsf T} b b T 。它的 matmul 函数执行矩阵乘法;@ 运算符是它的数组简写。因此,我们可以把按行存储的变换写成 X @ P,并用带有 axis=1 的 linalg.norm 测量每一行残差的长度。
allclose 会在指定容差内检查数值相等。下面的检查不会取代代数推导:它们会捕捉实现错误,同时承认浮点运算可能留下极小的余数,而不是字面上的零。
import numpy as np
b = np.array([ 2.0 , 1.0 ])
X = np.array(
[
[ 3.0 , 1.0 ],
[ 1.0 , 3.0 ],
[ - 2.0 , - 1.0 ],
[ 0.0 , 4.0 ],
]
)
P = np.outer(b, b) / np.dot(b, b)
Y = X @ P
residuals = X - Y
residual_lengths = np.linalg.norm(residuals, axis = 1 )
tolerance = 1e-12
symmetric = np.allclose(P.T, P, rtol = 0.0 , atol = tolerance)
idempotent = np.allclose(P @ P, P, rtol = 0.0 , atol = tolerance)
already_projected = np.allclose(Y @ P, Y, rtol = 0.0 , atol = tolerance)
print (P)
print (Y)
print (residual_lengths)
print (symmetric, idempotent, already_projected)
验证输出:
[[0.8 0.4]
[0.4 0.2]]
[[ 2.8 1.4]
[ 2. 1. ]
[-2. -1. ]
[ 1.6 0.8]]
[0.4472136 2.23606798 0. 3.57770876]
True True True
三个布尔结果回答了不同的问题。symmetric 检查矩阵的转置恒等式,idempotent 检查 P 2 = P P^2=P P 2 = P ,而 already_projected 检查整个变换后的数据集在第二次处理时是否保持不变。残差长度显示,一个点可能恰好位于目标直线上、误差为零,而另一个点仍可能保留很大的正交分量。
矩阵保留什么——又无法保留什么
对于任意向量 x x x ,输出 P x Px P x 都位于 U U U 上。系数 z = ( x T b ) / ( b T b ) z=(x^{\mathsf T}b)/(b^{\mathsf T}b) z = ( x T b ) / ( b T b ) 是所选直线能够解释的 x x x 的部分,而 x − P x x-Px x − P x 与 b b b 垂直。因此,这个投影是对一个 d d d 维观测的一维模型。
这就是降维的基本形式:选择一个更低维的特征空间,在其中保留最近的点,并度量剩下的重构误差。在嵌入或特征流水线中,一个方向可以代表一个学习到的模式,而 z z z 可以保留该模式的强度。投影矩阵可以把同一表示规则应用到一个批次,但保留哪些信息仍由方向的选择决定。较小的残差表示“在这条欧氏直线下很接近”,并不表示“样本的含义已经被完全捕捉”。
边界情况与布局陷阱
零方向不是一条直线。 如果 b = 0 b=0 b = 0 ,那么 b T b = 0 b^{\mathsf T}b=0 b T b = 0 ,公式会除以零。生产函数应该拒绝这个输入,而不是产生 nan 值,或悄悄把零向量称作一个方向。
偏移直线需要先中心化。 上面的矩阵投影到一条经过原点的直线。对于仿射直线 c + t b c+tb c + t b ,先投影 x − c x-c x − c ,再加回 c c c :
c + ( x − c ) T b b T b b . c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b. c + b T b ( x − c ) T b b .
直接把 P P P 应用于 x x x 会使用错误的直线。对于整个数据集,在矩阵乘法之前从每一行减去 c c c ,之后再加回它。
不要让存储方向替你决定数学运算。 对于行矩阵 X ∈ R m × d X\in\mathbb{R}^{m\times d} X ∈ R m × d ,使用 X P XP X P ;对于列矩阵,使用 P X c o l PX_{\mathrm{col}} P X col 。转置后的数据集可能让错误的乘法看起来合理,同时交换“样本数量”和“特征数量”。在解释输出前检查形状。
第 050 课中的单向量投影变成了批量操作,但几何性质没有变化。第 052 课将把同一个最近点思想用于由多个列生成的子空间,此时投影矩阵可以保留不止一个学习到的方向。
检查你的理解
问题 1
对于 b = (1, 2),构造投影矩阵 P = bbᵀ/(bᵀb),并说明它的形状。
显示分步解答 先计算分母:
b T b = 1 2 + 2 2 = 5. b^{\mathsf T}b=1^2+2^2=5. b T b = 1 2 + 2 2 = 5. 然后构造外积,把 b b b 放在左因子,把 b T b^{\mathsf T} b T 放在上方因子:
b b T = [ 1 2 ] [ 1 2 ] = [ 1 2 2 4 ] . bb^{\mathsf T}
=\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}1&2\end{bmatrix}
=\begin{bmatrix}1&2\\2&4\end{bmatrix}. b b T = [ 1 2 ] [ 1 2 ] = [ 1 2 2 4 ] . 因此
P = 1 5 [ 1 2 2 4 ] = [ 0.2 0.4 0.4 0.8 ] . P=\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix}
=\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}. P = 5 1 [ 1 2 2 4 ] = [ 0.2 0.4 0.4 0.8 ] . 因为 b b b 有两个坐标,所以 P P P 是一个 2 × 2 2\times2 2 × 2 矩阵。
问题 2
使用 b = (2, 1) 和 x = (1, 3),计算投影系数与投影点。
显示分步解答 计算点积和平方长度:
x T b = 1 ⋅ 2 + 3 ⋅ 1 = 5 , b T b = 2 2 + 1 2 = 5. x^{\mathsf T}b=1\cdot2+3\cdot1=5,
\qquad b^{\mathsf T}b=2^2+1^2=5. x T b = 1 ⋅ 2 + 3 ⋅ 1 = 5 , b T b = 2 2 + 1 2 = 5. 系数是 z = 5 / 5 = 1 z=5/5=1 z = 5/5 = 1 。将它乘以方向向量:
proj U ( x ) = z b = 1 ( 2 , 1 ) = ( 2 , 1 ) . \operatorname{proj}_{U}(x)=zb=1(2,1)=(2,1). proj U ( x ) = z b = 1 ( 2 , 1 ) = ( 2 , 1 ) . 结果位于 U U U 上,因为它是 b b b 的一个标量倍数。
问题 3
数据集 X 有四行和两个特征列。对 P 进行按行投影时,应使用 X @ P 还是 P @ X?请解释矩阵的维度。
显示分步解答 X X X 的形状是 4 × 2 4\times2 4 × 2 ,而二维特征的投影矩阵形状是 2 × 2 2\times2 2 × 2 。乘积
X P : ( 4 × 2 ) ( 2 × 2 ) ⟶ 4 × 2 XP:(4\times2)(2\times2)\longrightarrow4\times2 X P : ( 4 × 2 ) ( 2 × 2 ) ⟶ 4 × 2 是有定义的,并且为每个样本保留一行。因此按行操作是 X @ P。乘积 P X PX P X 会尝试将一个 2 × 2 2\times2 2 × 2 矩阵与一个 4 × 2 4\times2 4 × 2 矩阵相乘;内维度 2 2 2 和 4 4 4 不匹配。如果样本以列的形式存储在一个 2 × 4 2\times4 2 × 4 矩阵中,那么 P P P 就会在左侧作用。
问题 4
对于 P = [[0.8, 0.4], [0.4, 0.2]],通过计算 P² 验证幂等性。这个结果对投影后的数据集意味着什么?
显示分步解答 将矩阵与自身相乘:
P 2 = [ 0.8 0.4 0.4 0.2 ] [ 0.8 0.4 0.4 0.2 ] = [ 0.64 + 0.16 0.32 + 0.08 0.32 + 0.08 0.16 + 0.04 ] = [ 0.8 0.4 0.4 0.2 ] = P . P^2
=\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}
\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}
=\begin{bmatrix}
0.64+0.16&0.32+0.08\\
0.32+0.08&0.16+0.04
\end{bmatrix}
=\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}=P. P 2 = [ 0.8 0.4 0.4 0.2 ] [ 0.8 0.4 0.4 0.2 ] = [ 0.64 + 0.16 0.32 + 0.08 0.32 + 0.08 0.16 + 0.04 ] = [ 0.8 0.4 0.4 0.2 ] = P . 因此 ( X P ) P = X ( P 2 ) = X P (XP)P=X(P^2)=XP ( X P ) P = X ( P 2 ) = X P 。第二次处理会让每个投影后的行保持不变;它不会继续缩小数据集。
问题 5
为什么直线投影矩阵是对称的?这与残差有什么关系?
显示分步解答 矩阵是
P = b b T b T b . P=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}. P = b T b b b T . 分母是标量,转置分子时因子顺序反转:
( b b T ) T = b b T . (bb^{\mathsf T})^{\mathsf T}=bb^{\mathsf T}. ( b b T ) T = b b T . 所以 P T = P P^{\mathsf T}=P P T = P 。从几何上看,投影使用通常的欧氏内积,因此差值 x − P x x-Px x − P x 与 b b b 的点积为零。对称性是这种正交直角投影的代数特征;它本身并不意味着每个向量都会被保留。
问题 6
一位工程师说:“因为 P 有两行两列,所以它保留两个独立方向。”请针对非零二维方向 b 修正这个说法。
显示分步解答 矩阵的形状不等于它包含的独立方向数量。P = b b T / ( b T b ) P=bb^{\mathsf T}/(b^{\mathsf T}b) P = b b T / ( b T b ) 的两列都是 b b b 的标量倍数,因此它们的列空间只张成一维直线 U U U 。任何与 b b b 垂直的分量都会被移除。因此,一个 2 × 2 2\times2 2 × 2 的投影矩阵可以有秩一:它保留一个方向,但使用两个坐标存储每个输出点。
问题 7
当 b = [0.0, 0.0] 时,NumPy 实现应该做什么?为什么在分母中加一个很小的数不是忠实的修复?
显示分步解答 零向量没有定义一条直线,其分母为 b T b = 0 b^{\mathsf T}b=0 b T b = 0 。实现应该显式拒绝它,例如检查平方范数是否大于零,并说明输入无效。在分母中加入任意一个很小的数,会为一个未定义的几何任务制造一个非常大或不稳定的矩阵。数值正则化可能适用于另一个明确定义的问题,但它不会把零向量变成一个方向。
问题 8
对于仿射直线 c + tb,为什么不能直接把原点直线的矩阵 P 应用于 x?给出按行数据集的修正操作。
显示分步解答 矩阵 P P P 映射到一条经过原点的直线。仿射直线有偏移 c c c ,所以相关向量是 x − c x-c x − c ,而不是 x x x 。对于数据集的每一行,先中心化,再投影,最后恢复偏移:
Y = ( X − 1 c T ) P + 1 c T , Y=(X-\mathbf{1}c^{\mathsf T})P+\mathbf{1}c^{\mathsf T}, Y = ( X − 1 c T ) P + 1 c T , 其中 1 \mathbf{1} 1 是一个有 m m m 个元素的全一列向量。减法和加法都是按行进行的。不中心化就应用 X P XP X P ,会把数据投影到经过零点的平行直线上,从而回答另一个问题。
查看完整的 180 天课程