用一个微型神经网络理解线性代数

神经网络看起来可能只是一串矩阵运算，但每一步都会改变数值的含义。沿着一个小型网络从输入追踪到输出，就能看清整个过程：矩阵形状决定哪些映射可以连接，偏置会平移这些映射，秩限制独立方向，而激活函数会改变组合所能表达的内容。

学完后，你将能够逐步追踪每个形状，手算或用 NumPy 计算一个两层网络，并说明偏置、秩和激活分别会在何处影响结果。

本课综合了三个此前学过的工具：不显式求逆来解线性系统、用核与像描述丢失和可达的方向，以及用偏置平移仿射映射。《Mathematics for Machine Learning》第 2 章提供了这次综合所需的线性代数基础。下面的网络、数字、代码、图示和练习均为原创内容。

逐层追踪两个仿射层的维度

这里的“两层网络”指两个可学习的仿射映射，中间夹着一个隐藏层激活函数。我们将输出保留为两个分数，不再应用概率转换或类别判定。设输入为列向量 $x\in\mathbb{R}^2$ 。每个仿射映射都由矩阵和偏置向量组合而成：

两层网络及其形状

\begin{aligned} z &= W_1x+b_1, & W_1&\in\mathbb{R}^{2\times 2}, & b_1&\in\mathbb{R}^2, & z&\in\mathbb{R}^2,\\ h &= \sigma(z), & h&\in\mathbb{R}^2,\\ y &= W_2h+b_2, & W_2&\in\mathbb{R}^{2\times 2}, & b_2&\in\mathbb{R}^2, & y&\in\mathbb{R}^2. \end{aligned}

隐藏向量 $z$ 是第一个仿射映射的激活前结果。函数 $\sigma$ 作用于它的每个坐标；在本例中， $\sigma$ 是 ReLU，即 $\sigma(t)=\max(0,t)$ 。激活函数保持形状不变，因此 $h$ 仍是一个有两个坐标的向量，可以传给第二个矩阵。

相邻映射之间的共享维度必须匹配： $W_1$ 有两列，对应两个输入特征；它有两行，对应两个隐藏层输出。接着 $W_2$ 接收这两个隐藏值，并返回两个输出分数。偏置 $b_1$ 分别加到每个隐藏坐标上， $b_2$ 则分别加到每个输出上。维度不兼容的矩阵无法执行所述映射；这与 NumPy 矩阵乘积所做的形状检查相同。

追踪一个双输入、双隐藏单元的网络移动任一输入坐标，或切换隐藏层规则。初始状态为 x = (1, 1) 且使用 ReLU；下方所有数值都在 JavaScript 运行前渲染。

输入 · 2 个特征
仿射映射 · 2 个隐藏值
隐藏层激活
仿射映射 · 2 个分数
输出 · 2 个分数

z = W₁x + b₁

h = σ(z)

y = W₂h + b₂

更改输入和隐藏层规则

使用方向键或滑块更改每个输入，范围为 −2 到 2，步长为 0.25。

输入 x₁1.00输入 x₂1.00

隐藏层规则ReLU恒等映射（无激活）

激活前 z: (-0.50, 0.50)
隐藏层输出 h: (0.00, 0.50)
分数 y: (1.50, -0.50)
激活的隐藏单元: 1 / 2
局部雅可比矩阵的秩: 1

图示中的初始值使用以下固定且由人工选定的参数：

W_1=\begin{bmatrix}1&-1\\1&1\end{bmatrix},\quad b_1=\begin{bmatrix}-0.5\\-1.5\end{bmatrix},\quad W_2=\begin{bmatrix}1&2\\-1&1\end{bmatrix},\quad b_2=\begin{bmatrix}0.5\\-1\end{bmatrix}。

这个例子足够小，可以逐项追踪。所选数值旨在展示 ReLU 如何关闭一个隐藏单元；它们不是训练得到的参数，也不代表典型模型。

计算一次预测，保留每个中间结果

取 $x=(1,1)^\mathsf{T}$ 。第一个矩阵用不同方式组合两个输入坐标，再加上偏置，平移每个结果：

包含 ReLU 隐藏步骤的前向传播

\begin{aligned} z &= W_1x+b_1 = \begin{bmatrix}1&-1\\1&1\end{bmatrix} \begin{bmatrix}1\\1\end{bmatrix} +\begin{bmatrix}-0.5\\-1.5\end{bmatrix} = \begin{bmatrix}0\\2\end{bmatrix} +\begin{bmatrix}-0.5\\-1.5\end{bmatrix} = \begin{bmatrix}-0.5\\0.5\end{bmatrix},\\[4pt] h &= \operatorname{ReLU}(z) = \begin{bmatrix}\max(0,-0.5)\\\max(0,0.5)\end{bmatrix} = \begin{bmatrix}0\\0.5\end{bmatrix},\\[4pt] y &= W_2h+b_2 = \begin{bmatrix}1&2\\-1&1\end{bmatrix} \begin{bmatrix}0\\0.5\end{bmatrix} +\begin{bmatrix}0.5\\-1\end{bmatrix} = \begin{bmatrix}1\\0.5\end{bmatrix} +\begin{bmatrix}0.5\\-1\end{bmatrix} = \begin{bmatrix}1.5\\-0.5\end{bmatrix}。 \end{aligned}

每一步的形状依次为 $(2\times2)(2,)+(2,)=(2,)$ ，然后激活函数保持形状 $(2,)$ ，接着是 $(2\times2)(2,)+(2,)=(2,)$ 。得到的 $y$ 是两个分数。还需要单独的输出规则，才能将它们转换为标签或概率分布。

NumPy 的 @ 运算符执行矩阵乘法。下面的 + b 运算使用 NumPy 的逐元素广播，将长度为二的偏置加到长度为二的结果上。这段小程序会打印实际的中间向量：

import numpy as np

W1 = np.array([[1.0, -1.0], [1.0, 1.0]])  # (2, 2)
b1 = np.array([-0.5, -1.5])               # (2,)
W2 = np.array([[1.0, 2.0], [-1.0, 1.0]])  # (2, 2)
b2 = np.array([0.5, -1.0])                # (2,)
x = np.array([1.0, 1.0])                  # (2,)

z = W1 @ x + b1                           # (2,) = (2, 2) @ (2,) + (2,)
h = np.maximum(z, 0.0)                    # (2,), elementwise ReLU
y = W2 @ h + b2                           # (2,) = (2, 2) @ (2,) + (2,)

print('z:', z)  # [-0.5  0.5]
print('h:', h)  # [0.  0.5]
print('y:', y)  # [ 1.5 -0.5]

相同的宽度逻辑也适用于一批样本。如果将 $B$ 个样本按行存储，数组形状为 $(B,2)$ ；右乘 $W_1^\mathsf{T}$ 后得到形状为 $(B,2)$ 的隐藏值，再右乘 $W_2^\mathsf{T}$ 得到形状为 $(B,2)$ 的分数。PyTorch 的 Linear 层采用这种按行排列的约定：其权重形状为 $(\text{out features},\text{in features})$ ，并执行 $y=xA^\mathsf{T}+b$ 。因此，Linear(2, 2) 保存一个形状为 $(2,2)$ 的权重和一个长度为二的偏置。PyTorch 的 ReLU 逐元素应用并保持输入形状，与上面的步骤一致（Linear 文档、ReLU 文档、NumPy matmul 文档）。

没有激活函数时，两层仍可合并为一个仿射映射

仿射层中的偏置起平移作用。如果隐藏层步骤是恒等映射，可以通过代入将两层合成为：

y=W_2(W_1x+b_1)+b_2 =(W_2W_1)x+(W_2b_1+b_2)。

因此，堆叠更多没有非线性激活的仿射映射，并不能把整体输入输出规则变成非线性规则；矩阵会相乘并合并为一个矩阵，偏置也会合并为一个偏移量。使用本例所选数值， $W_2W_1=\begin{bmatrix}3&1\\0&2\end{bmatrix}$ ，且 $W_2b_1+b_2=(-3,-2)^\mathsf{T}$ 。因此，采用恒等映射时， $(1,1)^\mathsf{T}$ 会映射到 $(1,0)^\mathsf{T}$ 。

矩阵的秩表示其独立输出方向的数量。在这个恒等映射示例中， $W_1$ 和 $W_2$ 的秩都是二，它们的乘积秩也为二。如果网络的隐藏层宽度为 $r$ ，仿射组合的线性部分的秩不可能大于 $r$ ，因为它只通过 $r$ 个坐标进行分解。如果任一矩阵的秩更低，组合后的秩还可能更低。这些都是上界：窄层可能形成瓶颈，但仅凭宽度无法保证具体的秩。

ReLU 使映射成为分段仿射函数

当隐藏单元的激活前值为负数时，ReLU 会将其变为零。在所有激活前值符号保持不变的任一区域内，激活单元的集合也固定不变。令 $D$ 为对角矩阵，其中每个激活的 ReLU 单元对应一个 $1$ ，每个未激活单元对应一个 $0$ 。在该区域内，两层网络的局部线性部分为

J=W_2DW_1。

对于上面的输入， $z=(-0.5,0.5)^\mathsf{T}$ ，所以 $D=\begin{bmatrix}0&0\\0&1\end{bmatrix}$ 。于是

J= \begin{bmatrix}1&2\\-1&1\end{bmatrix} \begin{bmatrix}0&0\\0&1\end{bmatrix} \begin{bmatrix}1&-1\\1&1\end{bmatrix} =\begin{bmatrix}2&2\\1&1\end{bmatrix}, \qquad \operatorname{rank}(J)=1。

在该输入附近，只要第一个隐藏单元仍未激活，两个输出分数都会随相同的输入组合 $x_1+x_2$ 改变；差异方向 $(1,-1)$ 不会产生影响。矩阵 $J$ 描述的是该激活区域内的局部变化，而不是整个网络共用的一个全局矩阵。在 ReLU 的边界上，如果激活前值等于零，函数会出现折点，因此没有任何一个相邻区域的雅可比矩阵能够描述边界两侧。

隐藏层宽度和权重也会限制网络可以表达的内容。在这个特定示例中，两条激活前值为零的直线将输入平面划分为若干区域，每个区域具有不同的激活单元模式；每个区域都有一条仿射规则，跨越一条直线时，这条规则可能改变。更一般地说，加入非线性激活函数可以使非线性函数成为可能，但并不意味着权重的任意取值都能表达复杂函数。隐藏单元可能对关注的输入始终不激活，矩阵也可能压缩方向。矩阵形状、秩、偏置偏移量和激活模式共同决定网络的行为。

这就是为什么仅看输出值只能提供有限的调试信息。追踪形状可以发现不兼容的连接；比较 $z$ 和 $h$ 可以看到哪些特征被门控；检查层的秩或局部雅可比矩阵，可以识别丢失的方向。如果单独的拟合步骤要求你求解 $Ax\approx b$ ，第 025 课解释了数值求解器为何可以避免构造 $A^{-1}$ 的风险。网络的前向传播本身会使用矩阵乘积，不需要对学得的权重求逆。

看清这些映射和方向后，接下来要问的是向量有多大。第 039 课介绍范数，用于衡量向量大小、比较嵌入尺度并描述参数惩罚。