函数也可以拥有内积
使用积分或考虑间距的采样和来比较函数形状,并将函数内积连接到 AI 中的基函数特征。
内积可以告诉我们两个向量是否指向相似的方向。但一个信号、曲线或时间序列可能远不止三个坐标。AI 系统怎样比较两个函数的形状,又不把曲线假装成一串任意的数字?
同一个想法可以自然地延伸:逐点相乘两个函数,再把这些乘积在一个定义域上相加。对于连续定义域,这个和会变成积分。得到的函数内积可以度量重叠、构造正交基函数,并把形状转换为模型可以使用的特征。
学完本课,你将能够解释 ,准确计算一个小例子,使用正确的间距从采样值近似它,并说明为什么一个通用相似度分数不会自动成为内积。
**学习目标:**通过积分或离散和来解释函数相似性。
本课将第 041 课:内积度量对齐中的内容与第 002 课:函数是可复用的数学机器连接起来:第 041 课中,点积度量有限维向量之间的重叠;第 002 课中,函数是把每个输入转换为输出的规则。官方的 Mathematics for Machine Learning 一书在第 3.7 节介绍了这种推广。这里的工作函数、采样图表、NumPy 输出、AI 联系和评估题都是原创内容。
从有限维点积到函数内积
对于两个实向量 和 ,普通内积是
每个坐标都会贡献一个乘积。某个坐标上的正乘积表示两个值在该处同号;负乘积表示它们向相反方向拉扯。求和会保留相互一致的贡献,并抵消相互冲突的贡献。
区间 上的实值函数 可以看成一个向量:每个输入位置 都对应一个坐标。这样的位置有无穷多个,因此坐标和会变成积分。
当函数属于合适的可积函数空间时,这一定义继承了向量内积的有用性质:对每个参数都是线性的,对实函数是对称的,并且非零函数与自身比较时为正。特别是
相应的函数范数是 。它度量的是整个区间上的总平方大小,而不是某个选定点处的高度。
一个积分例子:相交的形状仍然可以有重叠
使用区间 和两个简单形状:
一条曲线下降,另一条曲线上升。它们在 处相遇,但它们在该区间上都非负,因此逐点乘积从不会为负。它们的内积是
下面的视觉以一种不必先阅读积分的方式展示同一计算。蓝色实线是 ,琥珀色虚线是 ,青绿色柱表示采样乘积 。表格中保留了准确数字,因此结论不依赖颜色、屏幕尺寸的绘图或客户端代码。
静态函数空间视觉
两条曲线,以及度量它们重叠的乘积
两条非负曲线在端点之间产生正乘积。表格明确列出了每个采样值。
| xᵢ | f(xᵢ) | g(xᵢ) | f(xᵢ)g(xᵢ) | 乘积的贡献 |
|---|---|---|---|---|
| 0 | 1 | 0 | 0 | 该端点处为零 |
| 0.25 | 0.75 | 0.25 | 0.1875 | 正重叠 |
| 0.5 | 0.5 | 0.5 | 0.25 | 正重叠 |
| 0.75 | 0.25 | 0.75 | 0.1875 | 正重叠 |
| 1 | 0 | 1 | 0 | 该端点处为零 |
柱形图是逐点乘积的视觉辅助。积分才是连续定义;基于采样的估计还必须考虑间距和端点权重。
采样把积分变成加权点积
实现通常接收到的是采样值,而不是符号公式。设 是采样位置,且 。如果这些位置以 等间距排列,一个简单的和具有如下形式:
这个表达式有助于形成直觉,但它给两个端点的权重和内部点一样大。复合梯形法让第一个和最后一个采样点只占一半权重:
对于视觉中的五个采样点,,且 。因此,
这个估计值接近准确值 ,但不是同一个数。对于这些光滑曲线,增加采样点通常会减小近似误差。
NumPy 代码对应地体现了这个区别。numpy.dot计算一维内积,因此适合原始采样和。numpy.trapezoid使用复合梯形法对采样值积分,并使用明确的 x 位置。
import numpy as np
x = np.linspace(0.0, 1.0, num=5)
f = 1.0 - x
g = x
products = f * g
raw_sample_sum = np.dot(f, g)
trapezoid_estimate = np.trapezoid(products, x=x)
weighted_sum = np.dot(np.array([0.5, 1.0, 1.0, 1.0, 0.5]), products)
weighted_sum *= x[1] - x[0]
print(products)
print(raw_sample_sum)
print(trapezoid_estimate)
print(weighted_sum)
验证过的输出:
[0. 0.1875 0.25 0.1875 0. ]
0.625
0.15625
0.15625
原始点积是 ,不是积分。它没有间距因子,也没有应用端点权重。最后两个值一致,是因为显式加权点积与 np.trapezoid 执行的是同一个复合梯形计算。对于不等间距的采样点,应将这些位置作为 x 传入;不要悄悄替换为一个全局 dx。
基函数把形状变成模型特征
当模型用一小组基函数描述一个输入形状时,函数内积尤其有用。考虑 上的两个函数
第一个函数是常数,第二个从 线性变化到 。它们的重叠是
在这个区间和权重下,它们正交。如果定义域或权重改变,同样的函数不会自动保持正交。它们的长度是 和 ,因此这个函数对是正交的,但不是标准正交的。将 乘以 就会使其范数变为 1。
假设一个特征展开模型用下式近似信号 :
如果基是正交的,一个方向的系数不会在内积中与另一个方向混合。例如,如果 ,那么
第二项消失了,因为基函数彼此正交。在实践中,AI 流水线可以在每个采样点计算 ,并把这些值提供给分类器、回归器或其他下游模型。内积描述了观测形状与每个选定特征方向重叠的程度。它们使特征设计更容易检查,但不保证所选基足以完成任务。
为什么定义域、间距和度量很重要
“相似的函数”并不是一个完整的数学规定。内积取决于生产特征流水线必须明确的选择。
**相同的定义域。**积分会在相同的 位置比较函数值。如果一个函数定义在 ,另一个定义在 ,表达式 就需要明确的公共区间或重采样规则。偶然把不匹配的输入配对是没有意义的。
**采样间距。**普通的 np.dot(f_samples, g_samples) 把每个采样点当作同等重要的坐标。如果采样点聚集在定义域的一部分,这个和就会给该聚集区域更多权重。使用实际位置,或记录你想要的离散几何。
**加权会改变几何。**非负权重 可以强调某个时间窗口或测量更可靠的区域:
改变 会改变哪些形状被视为正交,也会改变哪些特征获得更多影响。这可以是有意的建模选择,而不是无害的实现细节。
**相似度不会自动成为内积。**像 这样的分数可能对特定匹配任务有用,但它不像内积那样对函数具有线性。同样,任意重新缩放或阈值化的分数即使是对称的,也可能不是正定的。只有在检查函数空间中适用的定义域、可积性、线性、对称性和正定性要求后,才应把某个量称为内积。
函数内积把“这些形状看起来相似吗?”这个模糊问题变成了可复现的计算。积分提供连续定义;np.dot 和 np.trapezoid 使采样版本明确;基函数则让 AI 系统可以比较可解释的形状方向。下一步是使用这些函数内积进行投影,把一个函数替换为所选子空间中的最近似近似。
检查你的理解
问题 1
写出 [a, b] 上的函数内积,并解释乘积 f(x)g(x) 在一个点处贡献了什么。
显示分步解答
定义是
在点 处,当两个函数值同号时乘积为正,当它们异号时乘积为负,而至少一个值为零时乘积为零。积分会在给定定义域上累加这些局部贡献,因此区间是答案的一部分。
问题 2
计算 f(x) = 1 和 g(x) = x 在 [0, 1] 上的内积。
显示分步解答
先将函数相乘:。然后在给定区间上积分:
结果为正,是因为两个函数在 上都非负;结果的大小取决于这个区间。
问题 3
对于 [0, 1] 上的 f(x) = 1 − x 和 g(x) = x,验证准确值 1/6 以及归一化重叠 1/2。
显示分步解答
交叉内积是
对于范数,计算
因此归一化重叠是 。它小于一,是因为两条曲线不是彼此的标量倍数。
问题 4
使用五个采样点 x = (0, 0.25, 0.5, 0.75, 1) 时,为什么原始点积 0.625 与梯形估计 0.15625 不同?
显示分步解答
采样乘积为 。采样函数数组之间的原始点积是
这是一个未加权的采样和。梯形估计乘以间距 ,并给两个端点一半的权重:
这两个计算回答的是不同的数值问题;第二个才是对积分的考虑间距的近似。
问题 5
φ₀(x) = 1 和 φ₁(x) = 2x − 1 在 [0, 1] 上的内积是多少?这个结果意味着什么?
显示分步解答
将函数相乘并积分:
这个零值表示,在 上的均匀内积下,常数形状和居中的线性形状正交。它不表示所有可能的函数相似性定义都会认为它们无关;新的定义域或权重会定义新的几何。
问题 6
一个流水线在 x = 0.8 附近密集采样一个函数,而在其他位置稀疏采样。为什么对这些采样值直接使用 np.dot 可能会扭曲预期的连续内积?实现应该怎样做?
显示分步解答
np.dot 为提供的每一对值赋予相同的坐标权重。因此,密集区域仅仅因为拥有更多采样点,就贡献了更多项,即使连续定义域不应给该区域额外权重。实现应该使用实际采样位置和 np.trapezoid,或者为每个采样点构造有明确依据的求积权重。如果这种离散加权是有意的,应记录它是不同的内积,而不要把它称为均匀连续积分。
问题 7
为什么 S(f, g) = maxₓ f(x)g(x) 即使作为匹配分数很有用,也不会自动成为内积?
显示分步解答
内积需要满足的条件不只是类似相似度的解释。它必须在所选函数空间上对每个参数线性、对实函数对称,并且正定。最大值运算只选择一个点,通常不会对加法分配,因此一般有 。所以这个分数可能有用,但它没有继承内积的代数保证。
问题 8
一个特征展开模型使用本课中正交函数,并令 h(x) ≈ c₀φ₀(x) + c₁φ₁(x)。在 h = 0.6φ₀ − 0.2φ₁ 的例子中,为什么 ⟨h, φ₀⟩ 能隔离 c₀?
显示分步解答
在第一个参数上使用线性性:
基函数正交,因此第二个内积为零。第一个函数的范数为一,所以 。结果是 。之所以能隔离该系数,是因为基的几何关系消除了交叉项;如果基不正交,第二项就会保留,系数也会相互耦合。