L1、L2 与 L-无穷范数对大小的不同理解

模型可能会对输入中每个坐标看起来都很小的变化十分敏感。要描述这种变化，我们首先得选择一种衡量其大小的方法。L1、L2 和 L-无穷范数会给出不同答案，而它们的单位球恰好揭示了原因。

读完本文后，你将能够比较这些范数、读懂它们在二维空间中的形状，并区分对模型参数的惩罚与对输入变化的预算。

学习目标： 解释不同范数如何改变几何形状与敏感性。

第 39 课（英文）介绍了把范数作为测量向量的规则。官方机器学习数学基础一书的第 3.1 节讨论了常见范数及其几何形状。下文中的示例、比较、交互图和 AI 应用均为原创内容。

一个向量，三种测量

对于实向量 $x=(x_1,\ldots,x_n)$ ，L1 范数将坐标绝对值相加，L2 范数对坐标平方和开平方，L-无穷范数则取绝对值最大的坐标：

取 $x=(3,-4)$ 。它的 L1 范数是 $|3|+|-4|=3+4=7$ 。L2 范数是 $\sqrt{3^2+(-4)^2}=\sqrt{9+16}=5$ 。L-无穷范数是 $\max(3,4)=4$ 。向量本身没有变化；每条规则强调的是坐标的不同方面。L1 累加所有坐标的大小，L2 衡量欧几里得长度，L-无穷范数报告最大的单个变化。

在 NumPy 中，显式设置 ord 即可计算各向量范数：

import numpy as np

x = np.array([3.0, -4.0])
np.linalg.norm(x, ord=1)      # 7.0
np.linalg.norm(x, ord=2)      # 5.0
np.linalg.norm(x, ord=np.inf) # 4.0

这里的 x 是一维数组，因此 ord=2 请求的是欧几里得范数。对于二维数组，numpy.linalg.norm 也可以计算矩阵范数；处理一批向量时，要同时指定范数阶数和向量所在的轴。NumPy 分别说明了这些向量和矩阵情形。

单位球让选择一目了然

范数的单位球是指范数不超过 1 的所有向量组成的集合。在二维空间中，L1 单位球是菱形，L2 单位球是圆形，L-无穷单位球是与坐标轴对齐的正方形。例如， $(0.6,0.8)$ 恰好位于 L2 边界，因为 $\sqrt{0.6^2+0.8^2}=1$ 。它在 L1 球外，因为 $0.6+0.8=1.4$ ；在 L-无穷球内，因为其最大坐标绝对值为 $0.8$ 。

在下方移动任一坐标。系统会用这三个边界检验同一个点，表格则会显示每种范数的值，以及该点是否位于对应的单位球内。

同一个向量位于三个形状不同的单位球中

选择向量坐标

使用方向键以 0.1 为步长调整坐标。三种范数都针对同一个向量测量。

第一个坐标，x₁0.6第二个坐标，x₂0.8

对于 x = (0.6, 0.8)：L1 为 1.4（外部）；L2 为 1（边界上）；L-无穷为 0.8（内部）。

单位球边界

L1：菱形边界
L2：圆形边界
L-无穷：正方形边界

所选向量的范数值及其在单位球中的位置
范数	数值	位置
L1	1.4	外部
L2	1	边界上
L-无穷	0.8	内部

即使不解读图中颜色或形状，也可以查看状态表。

形状决定了在固定预算下哪些方向可行。例如，在 $(0.7,0.7)$ 处，L-无穷范数为 $0.7$ ，L2 范数约为 $0.99$ ，所以该点在这两个单位球内；L1 范数为 $1.4$ ，因此该点落在菱形外。正方形预算分别限制每个坐标，而圆形预算限制它们合起来的欧几里得长度。

这些范数之间仍有约束。对任意 $x\in\mathbb{R}^n$ ，

\lVert x\rVert_{\infty}\leq\lVert x\rVert_2\leq\lVert x\rVert_1 \leq\sqrt{n}\,\lVert x\rVert_2\leq n\,\lVert x\rVert_{\infty}.

最大坐标不可能大于所有坐标平方和的平方根，而后者不可能大于绝对坐标值之和。柯西–施瓦茨不等式给出下一个界， $\lVert x\rVert_1\leq\sqrt{n}\lVert x\rVert_2$ ；将每个坐标平方都限制在最大坐标平方以内，则可得到 $\lVert x\rVert_2\leq\sqrt{n}\lVert x\rVert_{\infty}$ 。因此，这些测量值之间的倍数差异会随维数增长，也可能对两个向量给出不同大小排序。对于 $u=(3,0)$ 和 $v=(2,2)$ ，L1 认为 $v$ 更大（ $4>3$ ），而 L2 认为 $u$ 更大（ $3>\sqrt{8}$ ）。

参数惩罚与输入预算回答的是不同问题

在模型拟合过程中，正则化会在目标函数中加入一项，以抑制某些参数取值。训练目标可能包含 $\lambda_1\lVert w\rVert_1$ 或 $\lambda_2\lVert w\rVert_2^2$ ，其中 $w$ 是学习得到的参数向量，每个 $\lambda$ 用来设定惩罚强度。L1 惩罚可能使系数变得稀疏；平方 L2 惩罚通常会缩小许多系数，但一般不会让它们变成零。特征尺度和惩罚强度都会影响结果。平方 L2 表达式是范数的平方，本身并不是范数。

输入扰动预算则对另一个向量应用范数。如果将 $\delta$ 加到输入 $x$ 上，约束 $\lVert\delta\rVert_{\infty}\leq\varepsilon$ 表示每个坐标的变化都不超过 $\varepsilon$ 。如果图像值已缩放到 $[0,1]$ ，那么 $\varepsilon$ 就以该尺度计量；将修改后的图像裁剪回有效输入范围是另一项独立约束。

Goodfellow、Shlens 和 Szegedy 的快速梯度符号法使用了 L-无穷几何。对于非定向攻击，令 $J(\theta,x,y)$ 表示模型在参数 $\theta$ 、输入 $x$ 和标签 $y$ 下的损失。单步更新为

\delta=\varepsilon\,\operatorname{sign}\!\left(\nabla_xJ(\theta,x,y)\right).

梯度估计的是输入发生微小变化时损失会如何变化。沿着该方向为每个坐标选择符号，可以在每个坐标都不超过 $\varepsilon$ 的同时，让一阶损失增幅最大。这是局部的一步构造：它不保证一定会导致误分类，效果取决于模型和输入。较小的 L-无穷值也不保证变化难以察觉或符合现实。这个界限说明的是逐坐标预算；人们仍需判断该预算是否符合自己关心的威胁。

评估模型敏感性时，要记录允许变化的向量、约束它的范数，以及预算的单位。这样，“在 $\varepsilon$ 范围内具有鲁棒性”就有了明确的几何含义，不会把假设藏在小这个词里。