仿射空间如何解释偏置与决策边界

分类器的权重决定分隔两个类别的方向。偏置则让这条分隔线可以位于原点之外。这个小小的加项对应着几何平移：它把线性边界变成仿射边界，同时保持边界方向不变。

读完本文，你将能够区分平移后的子空间与经过原点的子空间，判断一个映射是线性还是仿射，并计算偏置如何改变简单分类器的边界。

学习目标： 区分线性集合与仿射集合，以及线性变换与仿射变换。

本文承接第 034 课，该课介绍了线性映射如何保持向量求和和数乘。《Mathematics for Machine Learning》第 2.8 节在此基础上引入偏移。本文中的例子、分类器计算、图示和练习均为原创。

直线可以保持方向，同时离开原点

向量子空间必须包含零向量。例如，所有 $d=(1,2)$ 的倍数组成一条经过原点的直线：

U = \{t(1,2):t\in\mathbb{R}\}。

取一点 $p=(0,-1)$ ，并把它加到 $U$ 中的每个向量上。得到的是一条平行直线，但它不再经过原点：

L = p+U = \{p+u:u\in U\} = \{(0,-1)+t(1,2):t\in\mathbb{R}\}。

这条直线的参数坐标为 $(x_1,x_2)=(t,2t-1)$ 。消去 $t$ 得到 $2x_1-x_2=1$ 。它的方向向量与 $U$ 相同，但 $L$ 上的每个点都平移了 $p$ 。特别地， $0\notin L$ ：第一坐标为零要求 $t=0$ ，此时第二坐标为 $-1$ 。如果所选的点 $p$ 本身属于 $U$ ，那么平移后的集合 $p+U$ 就等于 $U$ ；在这个特殊情形下，仿射子空间也同时是向量子空间。

方向相同，有无偏移的对比偏置将边界从 2x₁ − x₂ = 0 移至 2x₁ − x₂ = 1。两条直线保持平行，平移后的边界不再包含原点。

无偏置：2x₁ − x₂ = 0
偏置 −1：2x₁ − x₂ = 1

图中的两条直线具有相同的方向向量 $(1,2)$ ，因为它与它们共有的法向量 $(2,-1)$ 垂直。虚线是实线的平移，位置改变而朝向不变。即使不依赖颜色，标签和方程也表达了相同的信息。

仿射组合会留在偏移集合中

识别仿射几何的一种方法，是使用系数之和为一的点组合。如果 $x=p+u$ 和 $y=p+v$ 属于 $L$ ，那么对任意实数 $\lambda$ ，

\lambda x+(1-\lambda)y = \lambda(p+u)+(1-\lambda)(p+v) = p+\bigl(\lambda u+(1-\lambda)v\bigr) \in p+U。

由于 $\lambda+(1-\lambda)=1$ ，偏移 $p$ 会保留下来；括号中的部分也属于 $U$ ，因为子空间对线性组合封闭。因此，直线上的点做插值后仍在这条直线上；即使 $\lambda$ 不在 $[0,1]$ 内、形成外推，结论也成立。

普通求和的系数总和不同。对 $x,y\in L$ ， $x+y=2p+(u+v)$ ，它不一定属于 $p+U$ 。在我们的直线例子中，取 $x=p$ 、 $y=p$ ，则 $x+y=(0,-2)$ ，不满足直线方程 $2x_1-x_2=1$ 。因此，仿射子空间保持仿射组合；向量子空间保持所有线性组合并且包含零向量。

所选的锚点并不唯一。若 $q\in U$ ，则 $p+U=(p+q)+U$ ，因为加上 $U$ 中的元素只会改变作为锚点的点。方向空间是不变的部分；支撑点只是一个方便的代表。

偏置会移动分类器边界

仿射映射由线性映射加上一个固定平移构成：

对任意两个输入，平移项会在差值中抵消：

F(x)-F(y)=(Ax+b)-(Ay+b)=A(x-y)。

而对于系数和为一的组合，输出会保持相应的仿射组合：

F\bigl(\lambda x+(1-\lambda)y\bigr) = \lambda F(x)+(1-\lambda)F(y)。

这不同于任意求和时线性映射的规则。特别地， $F(0)=b$ ，因此非零偏置会让零输入映射到非零输出。

令 $x=(x_1,x_2)\in\mathbb{R}^2$ 表示一个包含两个特征的输入，其分数为

s(x)=2x_1-x_2-1。

当 $s(x)\ge 0$ 时分到正类；当 $s(x)<0$ 时分到负类。分数为零的位置就是决策边界：

2x_1-x_2-1=0 \quad\Longleftrightarrow\quad 2x_1-x_2=1。

权重向量 $w=(2,-1)$ 决定边界的法向，偏置 $b=-1$ 则将分数的等值面设为 $w^\mathsf{T}x=1$ 。在二维中，边界是一条直线；在更高维的特征空间中，相应的平坦集合称为超平面。点 $p=(0,-1)$ 位于边界上，因为 $2(0)-(-1)-1=0$ 。沿方向 $d=(1,2)$ 移动不会改变分数：

没有偏置时，边界为 $2x_1-x_2=0$ ，并且经过原点。加上 $b$ 改变的是截距，而不是法向量。更一般地，分类器分数 $w^\mathsf{T}x+b$ 使用 $w$ 确定超平面的朝向，使用 $b$ 确定其偏移。PyTorch 的 torch.nn.Linear 文档将这种仿射形式写为 $y=xA^\mathsf{T}+b$ ，并默认启用可学习的偏置（torch.nn.Linear 文档）。当只有一个输出时，该层可以产生这种分数；后续再用阈值规则等方式分配类别。

只有在权重保持不变时，偏置才会使边界平行移动。如果训练改变了 $w$ ，边界的朝向也会改变。偏置也不能让一条仿射边界表达所有可能的分类模式；它只能调整这个特定线性分数的偏移。

用 NumPy 验证几何关系

可以直接检查这个例子。下面的代码计算支撑点以及沿方向移动得到的两个点的分数：

import numpy as np

w = np.array([2.0, -1.0])
b = -1.0
p = np.array([0.0, -1.0])
d = np.array([1.0, 2.0])
score = lambda x: w @ x + b

print(score(p))          # 0.0: p is on the boundary
print(score(p + d))      # 0.0: moving along d stays on it
print(score(p + 3 * d))  # 0.0: extrapolating along d also stays on it
print(score(np.zeros(2)))  # -1.0: the origin is off the boundary

计算采用列向量几何，而常见的张量批次会把样本存放在行中。PyTorch 将批量线性层写作 $xA^\mathsf{T}+b$ ；转置是为了适应这种按行组织的约定。默认带偏置时，该操作是仿射的。设置 bias=False 会使层的映射变为线性，不过之后的非线性激活仍是另一个独立操作。