内积如何衡量注意力中的对齐程度
计算点积，从几何角度理解它的符号和大小，并观察查询-键分数如何变成注意力权重。
分类
解析几何
3篇文章属于此分类.
L1、L2 与 L-无穷范数对大小的不同理解
比较向量的 L1、L2 与 L-无穷范数，观察它们的单位球如何变化，并区分参数惩罚与输入鲁棒性预算。
向量范数衡量大小，而非含义
计算 L1、L2 和 L-infinity 向量范数，验证它们的定义规则，并了解嵌入向量的模长能说明什么、不能说明什么。
分类
3篇文章属于此分类.
计算点积，从几何角度理解它的符号和大小，并观察查询-键分数如何变成注意力权重。
比较向量的 L1、L2 与 L-无穷范数，观察它们的单位球如何变化，并区分参数惩罚与输入鲁棒性预算。
计算 L1、L2 和 L-infinity 向量范数，验证它们的定义规则，并了解嵌入向量的模长能说明什么、不能说明什么。