AI 数学课程 · 第 49 课,共 180

函数也可以拥有内积

使用积分或考虑间距的采样和来比较函数形状,并将函数内积连接到 AI 中的基函数特征。

分享这篇文章

内积可以告诉我们两个向量是否指向相似的方向。但一个信号、曲线或时间序列可能远不止三个坐标。AI 系统怎样比较两个函数的形状,又不把曲线假装成一串任意的数字?

同一个想法可以自然地延伸:逐点相乘两个函数,再把这些乘积在一个定义域上相加。对于连续定义域,这个和会变成积分。得到的函数内积可以度量重叠、构造正交基函数,并把形状转换为模型可以使用的特征。

学完本课,你将能够解释 ⟨f,g⟩=∫abf(x)g(x) dx\langle f,g\rangle=\int_a^b f(x)g(x)\,dx,准确计算一个小例子,使用正确的间距从采样值近似它,并说明为什么一个通用相似度分数不会自动成为内积。

**学习目标:**通过积分或离散和来解释函数相似性。

本课将第 041 课:内积度量对齐中的内容与第 002 课:函数是可复用的数学机器连接起来:第 041 课中,点积度量有限维向量之间的重叠;第 002 课中,函数是把每个输入转换为输出的规则。官方的 Mathematics for Machine Learning 一书在第 3.7 节介绍了这种推广。这里的工作函数、采样图表、NumPy 输出、AI 联系和评估题都是原创内容。

从有限维点积到函数内积

对于两个实向量 u=(u1,…,un)u=(u_1,\ldots,u_n) 和 v=(v1,…,vn)v=(v_1,\ldots,v_n),普通内积是

⟨u,v⟩=∑i=1nuivi.\langle u,v\rangle=\sum_{i=1}^{n}u_i v_i.

每个坐标都会贡献一个乘积。某个坐标上的正乘积表示两个值在该处同号;负乘积表示它们向相反方向拉扯。求和会保留相互一致的贡献,并抵消相互冲突的贡献。

区间 [a,b][a,b] 上的实值函数 ff 可以看成一个向量:每个输入位置 xx 都对应一个坐标。这样的位置有无穷多个,因此坐标和会变成积分。

当函数属于合适的可积函数空间时,这一定义继承了向量内积的有用性质:对每个参数都是线性的,对实函数是对称的,并且非零函数与自身比较时为正。特别是

⟨f,f⟩=∫abf(x)2 dx≥0.\langle f,f\rangle=\int_a^b f(x)^2\,dx\geq 0.

相应的函数范数是 ∥f∥=⟨f,f⟩\lVert f\rVert=\sqrt{\langle f,f\rangle}。它度量的是整个区间上的总平方大小,而不是某个选定点处的高度。

一个积分例子:相交的形状仍然可以有重叠

使用区间 [0,1][0,1] 和两个简单形状:

f(x)=1−x,g(x)=x.f(x)=1-x,\qquad g(x)=x.

一条曲线下降,另一条曲线上升。它们在 x=0.5x=0.5 处相遇,但它们在该区间上都非负,因此逐点乘积从不会为负。它们的内积是

下面的视觉以一种不必先阅读积分的方式展示同一计算。蓝色实线是 ff,琥珀色虚线是 gg,青绿色柱表示采样乘积 f(xi)g(xi)f(x_i)g(x_i)。表格中保留了准确数字,因此结论不依赖颜色、屏幕尺寸的绘图或客户端代码。

静态函数空间视觉

两条曲线,以及度量它们重叠的乘积

两条非负曲线在端点之间产生正乘积。表格明确列出了每个采样值。

f(x) 等于 1 减 x、g(x) 等于 x 的采样重叠图表绘制了从 x 等于 0 到 x 等于 1 的下降实线 f 和上升虚线 g。曲线下方的青绿色柱表示五个采样乘积 f(x_i) 乘以 g(x_i)。表格给出了准确的数值和解释。f(x) = 1 − xg(x) = x采样乘积 f(xᵢ)g(xᵢ)定义域 x函数值00.250.50.751
重叠图表使用的采样值。
xᵢf(xᵢ)g(xᵢ)f(xᵢ)g(xᵢ)乘积的贡献
0100该端点处为零
0.250.750.250.1875正重叠
0.50.50.50.25正重叠
0.750.250.750.1875正重叠
1010该端点处为零

柱形图是逐点乘积的视觉辅助。积分才是连续定义;基于采样的估计还必须考虑间距和端点权重。

f(x) = 1 − x 和 g(x) = x 在 [0, 1] 上的原创静态图表。语义表格是所绘采样值的完整文字替代。

采样把积分变成加权点积

实现通常接收到的是采样值,而不是符号公式。设 x0,…,xmx_0,\ldots,x_m 是采样位置,且 yi=f(xi)g(xi)y_i=f(x_i)g(x_i)。如果这些位置以 Δx\Delta x 等间距排列,一个简单的和具有如下形式:

Δx∑i=0myi.\Delta x\sum_{i=0}^{m}y_i.

这个表达式有助于形成直觉,但它给两个端点的权重和内部点一样大。复合梯形法让第一个和最后一个采样点只占一半权重:

∫abf(x)g(x) dx≈Δx(y02+y1+⋯+ym−1+ym2).\int_a^b f(x)g(x)\,dx \approx \Delta x\left(\frac{y_0}{2}+y_1+\cdots+y_{m-1}+\frac{y_m}{2}\right).

对于视觉中的五个采样点,Δx=0.25\Delta x=0.25,且 y=(0,0.1875,0.25,0.1875,0)y=(0,0.1875,0.25,0.1875,0)。因此,

0.25(0+0.1875+0.25+0.1875+0)=0.15625.0.25\left(0+0.1875+0.25+0.1875+0\right)=0.15625.

这个估计值接近准确值 1/6≈0.16671/6\approx0.1667,但不是同一个数。对于这些光滑曲线,增加采样点通常会减小近似误差。

NumPy 代码对应地体现了这个区别。numpy.dot计算一维内积,因此适合原始采样和。numpy.trapezoid使用复合梯形法对采样值积分,并使用明确的 x 位置。

import numpy as np

x = np.linspace(0.0, 1.0, num=5)
f = 1.0 - x
g = x
products = f * g
raw_sample_sum = np.dot(f, g)
trapezoid_estimate = np.trapezoid(products, x=x)
weighted_sum = np.dot(np.array([0.5, 1.0, 1.0, 1.0, 0.5]), products)
weighted_sum *= x[1] - x[0]

print(products)
print(raw_sample_sum)
print(trapezoid_estimate)
print(weighted_sum)

验证过的输出:

[0.     0.1875 0.25   0.1875 0.    ]
0.625
0.15625
0.15625

原始点积是 0.6250.625,不是积分。它没有间距因子,也没有应用端点权重。最后两个值一致,是因为显式加权点积与 np.trapezoid 执行的是同一个复合梯形计算。对于不等间距的采样点,应将这些位置作为 x 传入;不要悄悄替换为一个全局 dx。

基函数把形状变成模型特征

当模型用一小组基函数描述一个输入形状时,函数内积尤其有用。考虑 [0,1][0,1] 上的两个函数

ϕ0(x)=1,ϕ1(x)=2x−1.\phi_0(x)=1,\qquad \phi_1(x)=2x-1.

第一个函数是常数,第二个从 −1-1 线性变化到 11。它们的重叠是

⟨ϕ0,ϕ1⟩[0,1]=∫01(2x−1) dx=[x2−x]01=0.\begin{aligned} \langle\phi_0,\phi_1\rangle_{[0,1]} &=\int_0^1(2x-1)\,dx\\ &=\left[x^2-x\right]_0^1=0. \end{aligned}

在这个区间和权重下,它们正交。如果定义域或权重改变,同样的函数不会自动保持正交。它们的长度是 ∥ϕ0∥=1\lVert\phi_0\rVert=1 和 ∥ϕ1∥=1/3\lVert\phi_1\rVert=\sqrt{1/3},因此这个函数对是正交的,但不是标准正交的。将 ϕ1\phi_1 乘以 3\sqrt{3} 就会使其范数变为 1。

假设一个特征展开模型用下式近似信号 hh:

h(x)≈c0ϕ0(x)+c1ϕ1(x).h(x)\approx c_0\phi_0(x)+c_1\phi_1(x).

如果基是正交的,一个方向的系数不会在内积中与另一个方向混合。例如,如果 h(x)=0.6ϕ0(x)−0.2ϕ1(x)h(x)=0.6\phi_0(x)-0.2\phi_1(x),那么

⟨h,ϕ0⟩=0.6⟨ϕ0,ϕ0⟩−0.2⟨ϕ1,ϕ0⟩=0.6.\langle h,\phi_0\rangle =0.6\langle\phi_0,\phi_0\rangle -0.2\langle\phi_1,\phi_0\rangle =0.6.

第二项消失了,因为基函数彼此正交。在实践中,AI 流水线可以在每个采样点计算 ϕ0(xi),ϕ1(xi),…\phi_0(x_i),\phi_1(x_i),\ldots,并把这些值提供给分类器、回归器或其他下游模型。内积描述了观测形状与每个选定特征方向重叠的程度。它们使特征设计更容易检查,但不保证所选基足以完成任务。

为什么定义域、间距和度量很重要

“相似的函数”并不是一个完整的数学规定。内积取决于生产特征流水线必须明确的选择。

**相同的定义域。**积分会在相同的 xx 位置比较函数值。如果一个函数定义在 [0,1][0,1],另一个定义在 [0,2][0,2],表达式 ∫f(x)g(x) dx\int f(x)g(x)\,dx 就需要明确的公共区间或重采样规则。偶然把不匹配的输入配对是没有意义的。

**采样间距。**普通的 np.dot(f_samples, g_samples) 把每个采样点当作同等重要的坐标。如果采样点聚集在定义域的一部分,这个和就会给该聚集区域更多权重。使用实际位置,或记录你想要的离散几何。

**加权会改变几何。**非负权重 w(x)w(x) 可以强调某个时间窗口或测量更可靠的区域:

⟨f,g⟩w=∫abw(x)f(x)g(x) dx.\langle f,g\rangle_w=\int_a^b w(x)f(x)g(x)\,dx.

改变 ww 会改变哪些形状被视为正交,也会改变哪些特征获得更多影响。这可以是有意的建模选择,而不是无害的实现细节。

**相似度不会自动成为内积。**像 max⁡xf(x)g(x)\max_x f(x)g(x) 这样的分数可能对特定匹配任务有用,但它不像内积那样对函数具有线性。同样,任意重新缩放或阈值化的分数即使是对称的,也可能不是正定的。只有在检查函数空间中适用的定义域、可积性、线性、对称性和正定性要求后,才应把某个量称为内积。

函数内积把“这些形状看起来相似吗?”这个模糊问题变成了可复现的计算。积分提供连续定义;np.dot 和 np.trapezoid 使采样版本明确;基函数则让 AI 系统可以比较可解释的形状方向。下一步是使用这些函数内积进行投影,把一个函数替换为所选子空间中的最近似近似。

检查你的理解

问题 1

写出 [a, b] 上的函数内积,并解释乘积 f(x)g(x) 在一个点处贡献了什么。

显示分步解答

定义是

⟨f,g⟩[a,b]=∫abf(x)g(x) dx.\langle f,g\rangle_{[a,b]}=\int_a^b f(x)g(x)\,dx.

在点 xx 处,当两个函数值同号时乘积为正,当它们异号时乘积为负,而至少一个值为零时乘积为零。积分会在给定定义域上累加这些局部贡献,因此区间是答案的一部分。

问题 2

计算 f(x) = 1 和 g(x) = x 在 [0, 1] 上的内积。

显示分步解答

先将函数相乘:f(x)g(x)=xf(x)g(x)=x。然后在给定区间上积分:

⟨f,g⟩=∫01x dx=[x22]01=12.\langle f,g\rangle=\int_0^1x\,dx =\left[\frac{x^2}{2}\right]_0^1 =\frac12.

结果为正,是因为两个函数在 [0,1][0,1] 上都非负;结果的大小取决于这个区间。

问题 3

对于 [0, 1] 上的 f(x) = 1 − x 和 g(x) = x,验证准确值 1/6 以及归一化重叠 1/2。

显示分步解答

交叉内积是

∫01(1−x)x dx=∫01(x−x2) dx=12−13=16.\int_0^1(1-x)x\,dx=\int_0^1(x-x^2)\,dx=\frac12-\frac13=\frac16.

对于范数,计算

⟨f,f⟩=∫01(1−x)2dx=13,⟨g,g⟩=∫01x2dx=13.\langle f,f\rangle=\int_0^1(1-x)^2dx=\frac13, \qquad \langle g,g\rangle=\int_0^1x^2dx=\frac13.

因此归一化重叠是 1/61/31/3=12\frac{1/6}{\sqrt{1/3}\sqrt{1/3}}=\frac12。它小于一,是因为两条曲线不是彼此的标量倍数。

问题 4

使用五个采样点 x = (0, 0.25, 0.5, 0.75, 1) 时,为什么原始点积 0.625 与梯形估计 0.15625 不同?

显示分步解答

采样乘积为 y=(0,0.1875,0.25,0.1875,0)y=(0,0.1875,0.25,0.1875,0)。采样函数数组之间的原始点积是

∑if(xi)g(xi)=0+0.1875+0.25+0.1875+0=0.625.\sum_i f(x_i)g(x_i)=0+0.1875+0.25+0.1875+0=0.625.

这是一个未加权的采样和。梯形估计乘以间距 Δx=0.25\Delta x=0.25,并给两个端点一半的权重:

0.25(02+0.1875+0.25+0.1875+02)=0.15625.0.25\left(\frac02+0.1875+0.25+0.1875+\frac02\right)=0.15625.

这两个计算回答的是不同的数值问题;第二个才是对积分的考虑间距的近似。

问题 5

φ₀(x) = 1 和 φ₁(x) = 2x − 1 在 [0, 1] 上的内积是多少?这个结果意味着什么?

显示分步解答

将函数相乘并积分:

⟨ϕ0,ϕ1⟩=∫01(2x−1)dx=[x2−x]01=0.\langle\phi_0,\phi_1\rangle=\int_0^1(2x-1)dx =\left[x^2-x\right]_0^1=0.

这个零值表示,在 [0,1][0,1] 上的均匀内积下,常数形状和居中的线性形状正交。它不表示所有可能的函数相似性定义都会认为它们无关;新的定义域或权重会定义新的几何。

问题 6

一个流水线在 x = 0.8 附近密集采样一个函数,而在其他位置稀疏采样。为什么对这些采样值直接使用 np.dot 可能会扭曲预期的连续内积?实现应该怎样做?

显示分步解答

np.dot 为提供的每一对值赋予相同的坐标权重。因此,密集区域仅仅因为拥有更多采样点,就贡献了更多项,即使连续定义域不应给该区域额外权重。实现应该使用实际采样位置和 np.trapezoid,或者为每个采样点构造有明确依据的求积权重。如果这种离散加权是有意的,应记录它是不同的内积,而不要把它称为均匀连续积分。

问题 7

为什么 S(f, g) = maxₓ f(x)g(x) 即使作为匹配分数很有用,也不会自动成为内积?

显示分步解答

内积需要满足的条件不只是类似相似度的解释。它必须在所选函数空间上对每个参数线性、对实函数对称,并且正定。最大值运算只选择一个点,通常不会对加法分配,因此一般有 S(f1+f2,g)≠S(f1,g)+S(f2,g)S(f_1+f_2,g)\neq S(f_1,g)+S(f_2,g)。所以这个分数可能有用,但它没有继承内积的代数保证。

问题 8

一个特征展开模型使用本课中正交函数,并令 h(x) ≈ c₀φ₀(x) + c₁φ₁(x)。在 h = 0.6φ₀ − 0.2φ₁ 的例子中,为什么 ⟨h, φ₀⟩ 能隔离 c₀?

显示分步解答

在第一个参数上使用线性性:

⟨h,ϕ0⟩=0.6⟨ϕ0,ϕ0⟩−0.2⟨ϕ1,ϕ0⟩.\langle h,\phi_0\rangle =0.6\langle\phi_0,\phi_0\rangle -0.2\langle\phi_1,\phi_0\rangle.

基函数正交,因此第二个内积为零。第一个函数的范数为一,所以 ⟨ϕ0,ϕ0⟩=1\langle\phi_0,\phi_0\rangle=1。结果是 0.60.6。之所以能隔离该系数,是因为基的几何关系消除了交叉项;如果基不正交,第二项就会保留,系数也会相互耦合。

资料来源

  1. Mathematics for Machine Learning book PDF, Section 3.7
  2. NumPy documentation: numpy.dot
  3. NumPy documentation: numpy.trapezoid