向量张成：线性模型能够表达的预测

线性预测规则可以任意调整权重，却仍可能错过特征无法表达的模式。从所有训练样本来看，这个限制很清楚：每个预测向量都是特征列的加权和。这些加权和构成一个称为张成的集合。

学完本课后，你将能够描述这个可达集合、计算其中的一个预测，并检验一组拟议的目标值是否可能由模型产生。

学习目标： 识别由线性组合可达的向量集合。

第 29 课：线性无关消除冗余询问特征方向是否带来不同的信息。这里我们接着问：模型实际上能到达这些方向的哪些组合？官方《机器学习数学（Mathematics for Machine Learning）》第 2.5 节介绍了线性组合和线性无关，它们是本课定义张成所需的术语。本文的预测示例、计算、代码、图示和练习均为原创。

模型输出位于一个可达集合中

假设数据集有 $n$ 个样本和 $p$ 个数值特征。将特征 $j$ 在全部 $n$ 个样本上的取值放入列向量 $\boldsymbol{x}_j\in\mathbb{R}^n$ 。设计矩阵 $X\in\mathbb{R}^{n\times p}$ 将这些列堆叠起来。对于权重向量 $\boldsymbol{w}=(w_1,\ldots,w_p)^\mathsf{T}\in\mathbb{R}^p$ ，不含截距项的线性模型预测为

\hat{\boldsymbol{y}}=X\boldsymbol{w} =w_1\boldsymbol{x}_1+\cdots+w_p\boldsymbol{x}_p.

矩阵与向量相乘在概念上做了一件重要的事：它用模型权重混合特征列。系数可以变化，但可用的方向只有 $X$ 中已有的列。

最后一句是在这组有限数据上的容量结论：张成恰好包含不受约束的线性权重能够产生的预测向量。它并不是说模型能够对未来输入实现任意映射；那取决于特征规则、模型参数以及它将看到的输入。

求出可达的预测

考虑三个样本和两个特征：

X=\begin{bmatrix} 1&0\\ 0&1\\ 1&1 \end{bmatrix}, \qquad \boldsymbol{x}_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \quad \boldsymbol{x}_2=\begin{bmatrix}0\\1\\1\end{bmatrix}.

每组权重 $(a,b)$ 都会产生

a\boldsymbol{x}_1+b\boldsymbol{x}_2 =a\begin{bmatrix}1\\0\\1\end{bmatrix} +b\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}a\\b\\a+b\end{bmatrix}.

因此，每个可达预测向量都具有 $[a,b,a+b]^\mathsf{T}$ 的形式。它的第三个坐标必须等于前两个坐标之和。这是 $\mathbb{R}^3$ 中经过原点的一个平面：记录了三个输出坐标，但两个特征方向只能填满这个平面。

选取权重，再检验目标

取权重 $\boldsymbol{w}=[2,-1]^\mathsf{T}$ 。先将每个特征列乘以对应权重，再相加：

X\boldsymbol{w} =2\begin{bmatrix}1\\0\\1\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\0\\2\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\-1\\1\end{bmatrix}.

结果满足平面规则： $1=2+(-1)$ 。现在检验目标 $\boldsymbol{y}=[1,2,4]^\mathsf{T}$ 是否能产生。前两个元素会迫使 $a=1$ 、 $b=2$ 。这组权重会使第三个元素 $a+b=3$ ，而不是 $4$ 。给定这两个特征，没有任何一组权重能产生这个目标。

问题出在特征的限制，而不是没有足够努力地寻找正确系数。模型优化器可以选择不同权重，但若不改变特征方向或模型形式，就无法离开列空间。

预测空间

特征列限定了所有可能的预测

有两条特征列时，模型能够到达它们张成的平面。目标向量位于平面之外，因为它的第三个值不等于前两个值之和。

该平面表示所有向量 [a, b, a + b]。图中的有限平面片只是观察窗口；张成会沿平面内的每个方向无限延伸。虚线目标不满足坐标规则。

特征组合及其是否属于列空间
向量	坐标	张成检验
特征列 x₁	[1, 0, 1]	属于：第三项 = 第一项 + 第二项
特征列 x₂	[0, 1, 1]	属于：第三项 = 第一项 + 第二项
w = [2, −1] 的预测	[2, −1, 1]	属于：第三项 = 第一项 + 第二项
拟议目标	[1, 2, 4]	不属于：4 ≠ 1 + 2

图示从模型的角度呈现了相同的代数关系。实线特征箭头生成这个平面，它们的任意加权组合仍在平面内。虚线目标则位于平面之外。图示让位置关系更直观；方程 $y_3=y_1+y_2$ 才是精确检验。

用一段简短的 NumPy 计算检验限制

模型计算直接遵循定义。NumPy 的 matmul 实现了矩阵与向量相乘，因此用 $X$ 乘以权重就能得到预测向量：

import numpy as np

X = np.array([[1, 0], [0, 1], [1, 1]])
weights = np.array([2, -1])
prediction = X @ weights
target = np.array([1, 2, 4])

print(prediction)  # [ 2 -1  1]
print(prediction[2] == prediction[0] + prediction[1])  # True
print(target[2] == target[0] + target[1])  # False

第一行确认了算出的预测。第二行检验此列空间中所有向量都必须满足的规则。第三行用相同的精确关系排除了拟议目标。这是一项结构检验，并不依赖权重如何训练。

这个视角也解释了线性回归中的一个常见约束。scikit-learn 的线性模型指南将预测定义为特征的加权和，并说明可以选择加入截距项。拟合过程可能尝试减少误差，但对于本课中的样本，不含截距项的模型仍然只能产生 $\operatorname{Col}(X)$ 中的预测。如果所有特征列都冗余，新增特征时张成可能不会扩大；如果新列指向真正不同的方向，它就能扩大可达集合。

张成描述的是可用方向

张成包含每个实数系数值，包括零和负权重。这很重要：若只考虑正系数组合，描述的集合会更小，通常是一个锥，而不是完整的张成。标准的无约束线性回归允许正系数和负系数。约束可以限制允许的系数，而正则化会改变训练目标偏好的权重；两者都不会改变特征矩阵本身所定义的列空间。

仅凭特征列的数量，无法判断它们提供了多少个独立方向。两列可能沿同一条直线，此时它们的张成仍是一维的。下一步要判断新向量何时增加独立方向并扩大张成。这正是第 29 课：线性无关消除冗余探讨的问题。

一个实用的习惯是：模型反复错过某种模式时，先问它的特征是否能够表达所需输出，再责怪优化器。张成告诉你哪些预测向量甚至可能出现。