Kursus Matematika untuk AI · Pelajaran 49 dari 180

Fungsi Juga Dapat Memiliki Perkalian Dalam

Gunakan integral atau jumlah sampel yang memperhitungkan jarak untuk membandingkan bentuk fungsi, lalu hubungkan perkalian dalam fungsi dengan fitur basis dalam AI.

Bagikan artikel ini

Perkalian dalam dapat memberi tahu apakah dua vektor menunjuk ke arah yang mirip. Namun, sinyal, kurva, atau deret waktu mungkin memiliki jauh lebih dari tiga koordinat. Bagaimana sistem AI dapat membandingkan bentuk dua fungsi tanpa berpura-pura bahwa kurva hanyalah satu daftar angka yang dipilih secara sembarang?

Gagasan yang sama dapat diperluas secara alami: kalikan kedua fungsi titik demi titik, lalu jumlahkan hasil kalinya di sepanjang suatu domain. Untuk domain kontinu, jumlah tersebut menjadi integral. Hasilnya adalah perkalian dalam fungsi yang dapat mengukur tumpang tindih, membangun fungsi basis ortogonal, dan mengubah bentuk menjadi fitur yang dapat digunakan model.

Pada akhir pelajaran ini, Anda akan mampu menafsirkan ⟨f,g⟩=∫abf(x)g(x) dx\langle f,g\rangle=\int_a^b f(x)g(x)\,dx, menghitung contoh kecil secara tepat, mengaproksimasinya dari sampel dengan jarak yang benar, dan menjelaskan mengapa skor kemiripan umum tidak otomatis merupakan perkalian dalam.

Capaian pembelajaran: Menafsirkan kemiripan fungsi melalui integral atau jumlah diskret.

Pelajaran ini menghubungkan Pelajaran 041: Perkalian Dalam Mengukur Keselarasan, saat hasil kali titik mengukur tumpang tindih antara vektor berhingga, dengan Pelajaran 002: Fungsi sebagai Mesin Matematika yang Dapat Digunakan Kembali, saat fungsi merupakan aturan yang mengubah setiap masukan menjadi keluaran. Buku resmi Mathematics for Machine Learning menempatkan generalisasi ini di Bagian 3.7. Fungsi yang dikerjakan, bagan sampel, keluaran NumPy, hubungan dengan AI, dan soal-soal penilaian di sini adalah karya orisinal.

Dari hasil kali titik berhingga ke perkalian dalam fungsi

Untuk dua vektor real u=(u1,…,un)u=(u_1,\ldots,u_n) dan v=(v1,…,vn)v=(v_1,\ldots,v_n), perkalian dalam biasa adalah

⟨u,v⟩=∑i=1nuivi.\langle u,v\rangle=\sum_{i=1}^{n}u_i v_i.

Setiap koordinat menyumbangkan satu hasil kali. Hasil kali positif berarti kedua nilai memiliki tanda yang sama pada koordinat tersebut; hasil kali negatif berarti keduanya menarik ke arah yang berlawanan. Penjumlahan mempertahankan kontribusi yang selaras dan membatalkan kontribusi yang bertentangan.

Fungsi bernilai real ff pada interval [a,b][a,b] dapat dipandang sebagai vektor dengan satu koordinat untuk setiap posisi masukan xx. Ada tak terhingga banyak posisi seperti itu, sehingga jumlah koordinat menjadi integral.

Definisi ini mewarisi perilaku berguna dari perkalian dalam vektor ketika fungsi berada dalam ruang fungsi terintegralkan yang sesuai: linear pada setiap argumen, simetris untuk fungsi real, dan positif ketika fungsi tak nol dibandingkan dengan dirinya sendiri. Secara khusus,

⟨f,f⟩=∫abf(x)2 dx≥0.\langle f,f\rangle=\int_a^b f(x)^2\,dx\geq 0.

Norma fungsi yang bersesuaian adalah ∥f∥=⟨f,f⟩\lVert f\rVert=\sqrt{\langle f,f\rangle}. Norma ini mengukur total besar kuadrat di seluruh interval, bukan tinggi pada satu titik yang dipilih.

Integral contoh: bentuk yang berpotongan tetap dapat bertumpang tindih

Gunakan interval [0,1][0,1] dan dua bentuk sederhana:

f(x)=1−x,g(x)=x.f(x)=1-x,\qquad g(x)=x.

Satu kurva menurun sementara yang lain menanjak. Keduanya bertemu pada x=0.5x=0.5, tetapi keduanya nonnegatif pada interval tersebut, sehingga hasil kali titik demi titiknya tidak pernah negatif. Perkalian dalamnya adalah

Visual di bawah menunjukkan perhitungan yang sama dalam bentuk yang tidak mengharuskan Anda membaca integral terlebih dahulu. Kurva biru solid adalah ff, kurva kuning ambar putus-putus adalah gg, dan batang hijau kebiruan menunjukkan hasil kali sampel f(xi)g(xi)f(x_i)g(x_i). Angka yang tepat tetap tersedia dalam tabel, sehingga kesimpulan tidak bergantung pada warna, gambar yang berubah menurut ukuran layar, atau kode sisi klien.

Visual ruang fungsi statis

Dua kurva dan hasil kali yang mengukur tumpang tindihnya

Dua kurva nonnegatif menghasilkan hasil kali positif di antara kedua titik ujung. Tabel menuliskan setiap nilai sampel secara eksplisit.

Tumpang tindih sampel f(x) sama dengan 1 dikurangi x dan g(x) sama dengan xBagan memplot kurva solid menurun f dan kurva putus-putus menanjak g dari x sama dengan 0 hingga x sama dengan 1. Batang hijau kebiruan di bawah kurva mewakili lima hasil kali sampel f(x_i) dikalikan g(x_i). Tabel memberikan nilai yang tepat dan interpretasinya.f(x) = 1 − xg(x) = xhasil kali sampel f(xᵢ)g(xᵢ)domain xnilai fungsi00.250.50.751
Nilai sampel yang digunakan bagan tumpang tindih.
xᵢf(xᵢ)g(xᵢ)f(xᵢ)g(xᵢ)Kontribusi hasil kali
0100Nol pada titik ujung ini
0.250.750.250.1875Tumpang tindih positif
0.50.50.50.25Tumpang tindih positif
0.750.250.750.1875Tumpang tindih positif
1010Nol pada titik ujung ini

Batang adalah bantuan visual untuk hasil kali titik demi titik. Integral adalah definisi kontinu; estimasi berbasis sampel juga harus memperhitungkan jarak dan bobot titik ujung.

Bagan statis orisinal untuk f(x) = 1 − x dan g(x) = x pada [0, 1]. Tabel semantik adalah alternatif teks yang tepat untuk sampel yang diplot.

Sampel mengubah integral menjadi hasil kali titik berbobot

Implementasi biasanya melihat sampel, bukan rumus simbolis. Misalkan x0,…,xmx_0,\ldots,x_m adalah posisi sampel dan yi=f(xi)g(xi)y_i=f(x_i)g(x_i). Jika posisinya berjarak sama sebesar Δx\Delta x, jumlah sederhana berbentuk

Δx∑i=0myi.\Delta x\sum_{i=0}^{m}y_i.

Ekspresi ini berguna sebagai intuisi, tetapi menghitung kedua titik ujung sama beratnya dengan titik-titik di tengah. Aturan trapesium komposit memberi setengah bobot pada sampel pertama dan terakhir:

∫abf(x)g(x) dx≈Δx(y02+y1+⋯+ym−1+ym2).\int_a^b f(x)g(x)\,dx \approx \Delta x\left(\frac{y_0}{2}+y_1+\cdots+y_{m-1}+\frac{y_m}{2}\right).

Untuk lima sampel pada visual, Δx=0.25\Delta x=0.25 dan y=(0,0.1875,0.25,0.1875,0)y=(0,0.1875,0.25,0.1875,0). Oleh karena itu,

0.25(0+0.1875+0.25+0.1875+0)=0.15625.0.25\left(0+0.1875+0.25+0.1875+0\right)=0.15625.

Estimasi ini dekat dengan nilai tepat 1/6≈0.16671/6\approx0.1667, tetapi bukan angka yang sama. Lebih banyak sampel biasanya mengurangi galat aproksimasi untuk kurva yang mulus ini.

Kode NumPy mencerminkan perbedaan tersebut. numpy.dot menghitung perkalian dalam satu dimensi, sehingga berguna untuk jumlah sampel mentah. numpy.trapezoid mengintegralkan nilai sampel dengan aturan trapesium komposit dan menggunakan posisi x yang eksplisit.

import numpy as np

x = np.linspace(0.0, 1.0, num=5)
f = 1.0 - x
g = x
products = f * g
raw_sample_sum = np.dot(f, g)
trapezoid_estimate = np.trapezoid(products, x=x)
weighted_sum = np.dot(np.array([0.5, 1.0, 1.0, 1.0, 0.5]), products)
weighted_sum *= x[1] - x[0]

print(products)
print(raw_sample_sum)
print(trapezoid_estimate)
print(weighted_sum)

Keluaran yang telah diverifikasi:

[0.     0.1875 0.25   0.1875 0.    ]
0.625
0.15625
0.15625

Hasil kali titik mentah adalah 0.6250.625, bukan integral. Nilai itu tidak memiliki faktor jarak dan tidak menerapkan bobot titik ujung. Dua nilai terakhir sama karena hasil kali titik berbobot eksplisit merupakan perhitungan trapesium komposit yang sama dengan yang dilakukan np.trapezoid. Untuk posisi sampel yang tidak berjarak sama, berikan posisi tersebut sebagai x; jangan diam-diam menggantinya dengan satu dx global.

Fungsi basis mengubah bentuk menjadi fitur model

Perkalian dalam fungsi menjadi sangat praktis ketika model menggambarkan bentuk masukan dengan sekumpulan kecil fungsi basis. Pertimbangkan dua fungsi pada [0,1][0,1]

ϕ0(x)=1,ϕ1(x)=2x−1.\phi_0(x)=1,\qquad \phi_1(x)=2x-1.

Fungsi pertama konstan dan fungsi kedua berubah secara linear dari −1-1 ke 11. Tumpang tindih keduanya adalah

⟨ϕ0,ϕ1⟩[0,1]=∫01(2x−1) dx=[x2−x]01=0.\begin{aligned} \langle\phi_0,\phi_1\rangle_{[0,1]} &=\int_0^1(2x-1)\,dx\\ &=\left[x^2-x\right]_0^1=0. \end{aligned}

Keduanya ortogonal di bawah interval dan bobot ini. Fungsi yang sama tidak otomatis ortogonal jika domain atau bobot berubah. Panjangnya adalah ∥ϕ0∥=1\lVert\phi_0\rVert=1 dan ∥ϕ1∥=1/3\lVert\phi_1\rVert=\sqrt{1/3}, sehingga pasangan ini ortogonal tetapi tidak ortonormal. Mengalikan ϕ1\phi_1 dengan 3\sqrt{3} akan membuat normanya satu.

Misalkan model ekspansi fitur mengaproksimasi sinyal hh sebagai

h(x)≈c0ϕ0(x)+c1ϕ1(x).h(x)\approx c_0\phi_0(x)+c_1\phi_1(x).

Jika basisnya ortogonal, koefisien untuk satu arah tidak bercampur dengan arah lain dalam perkalian dalam. Misalnya, jika h(x)=0.6ϕ0(x)−0.2ϕ1(x)h(x)=0.6\phi_0(x)-0.2\phi_1(x), maka

⟨h,ϕ0⟩=0.6⟨ϕ0,ϕ0⟩−0.2⟨ϕ1,ϕ0⟩=0.6.\langle h,\phi_0\rangle =0.6\langle\phi_0,\phi_0\rangle -0.2\langle\phi_1,\phi_0\rangle =0.6.

Suku kedua hilang karena fungsi basisnya ortogonal. Dalam praktik, alur AI dapat mengevaluasi ϕ0(xi),ϕ1(xi),…\phi_0(x_i),\phi_1(x_i),\ldots pada setiap sampel dan memasukkan nilai tersebut ke pengklasifikasi, regresor, atau model hilir lainnya. Perkalian dalam menjelaskan seberapa besar bentuk yang diamati bertumpang tindih dengan setiap arah fitur yang dipilih. Perkalian dalam membuat desain fitur dapat diperiksa; perkalian dalam tidak menjamin bahwa basis yang dipilih cukup untuk tugas tersebut.

Mengapa domain, jarak, dan metrik penting

Ungkapan “fungsi yang mirip” bukan spesifikasi matematika yang lengkap. Perkalian dalam bergantung pada pilihan yang harus dibuat eksplisit oleh alur fitur produksi.

Domain yang sama. Integral membandingkan nilai pada posisi xx yang sama. Jika satu fungsi didefinisikan pada [0,1][0,1] dan fungsi lain pada [0,2][0,2], ekspresi ∫f(x)g(x) dx\int f(x)g(x)\,dx membutuhkan interval bersama atau aturan pengambilan sampel ulang yang dinyatakan. Memasangkan masukan yang tidak cocok secara kebetulan tidak bermakna.

Jarak sampel. np.dot(f_samples, g_samples) biasa memperlakukan setiap sampel sebagai koordinat yang sama pentingnya. Jika sampel terkumpul di satu bagian domain, jumlah itu memberi wilayah tersebut bobot lebih besar. Gunakan posisi sebenarnya atau dokumentasikan geometri diskret yang dimaksud.

Pembobotan mengubah geometri. Bobot nonnegatif w(x)w(x) dapat menekankan jendela waktu atau wilayah tempat pengukuran lebih dapat diandalkan:

⟨f,g⟩w=∫abw(x)f(x)g(x) dx.\langle f,g\rangle_w=\int_a^b w(x)f(x)g(x)\,dx.

Mengubah ww mengubah bentuk mana yang dianggap ortogonal dan fitur mana yang mendapat pengaruh lebih besar. Itu dapat menjadi pilihan pemodelan yang disengaja, bukan detail implementasi yang tidak berbahaya.

Kemiripan tidak otomatis merupakan perkalian dalam. Skor seperti max⁡xf(x)g(x)\max_x f(x)g(x) mungkin berguna untuk tugas pencocokan tertentu, tetapi tidak linear terhadap fungsi dengan cara yang sama seperti perkalian dalam. Demikian pula, skor yang diskalakan ulang atau diberi ambang secara sembarang dapat bersifat simetris tanpa menjadi definit positif. Sebut suatu besaran sebagai perkalian dalam hanya setelah memeriksa persyaratan domain, keterintegralan, linearitas, simetri, dan definit positif yang sesuai untuk ruang fungsi tersebut.

Perkalian dalam fungsi mengubah pertanyaan samar—“Apakah bentuk-bentuk ini terlihat mirip?”—menjadi perhitungan yang dapat direproduksi. Integral menyediakan definisi kontinu; np.dot dan np.trapezoid membuat versi berbasis sampel menjadi eksplisit; dan fungsi basis memungkinkan sistem AI membandingkan arah bentuk yang dapat diinterpretasikan. Langkah berikutnya adalah menggunakan perkalian dalam fungsi ini untuk proyeksi, saat suatu fungsi digantikan oleh aproksimasi terdekatnya di dalam subruang yang dipilih.

Uji pemahaman Anda

Pertanyaan 1

Tuliskan perkalian dalam fungsi pada [a, b] dan jelaskan kontribusi hasil kali f(x)g(x) pada satu titik.

Tampilkan solusi langkah demi langkah

Definisinya adalah

⟨f,g⟩[a,b]=∫abf(x)g(x) dx.\langle f,g\rangle_{[a,b]}=\int_a^b f(x)g(x)\,dx.

Pada satu titik xx, hasil kali positif ketika kedua nilai fungsi memiliki tanda yang sama, negatif ketika tandanya berlawanan, dan nol ketika setidaknya satu nilai adalah nol. Integral menjumlahkan kontribusi lokal tersebut di seluruh domain yang dinyatakan, sehingga interval merupakan bagian dari jawabannya.

Pertanyaan 2

Hitung perkalian dalam f(x) = 1 dan g(x) = x pada [0, 1].

Tampilkan solusi langkah demi langkah

Kalikan fungsi terlebih dahulu: f(x)g(x)=xf(x)g(x)=x. Kemudian integralkan pada interval yang diberikan:

⟨f,g⟩=∫01x dx=[x22]01=12.\langle f,g\rangle=\int_0^1x\,dx =\left[\frac{x^2}{2}\right]_0^1 =\frac12.

Hasilnya positif karena kedua fungsi nonnegatif pada [0,1][0,1], dan nilainya bergantung pada interval tersebut.

Pertanyaan 3

Untuk f(x) = 1 − x dan g(x) = x pada [0, 1], verifikasi nilai tepat 1/6 dan tumpang tindih ternormalisasi 1/2.

Tampilkan solusi langkah demi langkah

Perkalian dalam silang adalah

∫01(1−x)x dx=∫01(x−x2) dx=12−13=16.\int_0^1(1-x)x\,dx=\int_0^1(x-x^2)\,dx=\frac12-\frac13=\frac16.

Untuk normanya, hitung

⟨f,f⟩=∫01(1−x)2dx=13,⟨g,g⟩=∫01x2dx=13.\langle f,f\rangle=\int_0^1(1-x)^2dx=\frac13, \qquad \langle g,g\rangle=\int_0^1x^2dx=\frac13.

Jadi tumpang tindih ternormalisasi adalah 1/61/31/3=12\frac{1/6}{\sqrt{1/3}\sqrt{1/3}}=\frac12. Nilainya di bawah satu karena kedua kurva bukan kelipatan skalar satu sama lain.

Pertanyaan 4

Dengan lima sampel x = (0, 0.25, 0.5, 0.75, 1), mengapa hasil kali titik mentah 0.625 berbeda dari estimasi trapesium 0.15625?

Tampilkan solusi langkah demi langkah

Hasil kali sampelnya adalah y=(0,0.1875,0.25,0.1875,0)y=(0,0.1875,0.25,0.1875,0). Hasil kali titik mentah antara array fungsi yang disampel adalah

∑if(xi)g(xi)=0+0.1875+0.25+0.1875+0=0.625.\sum_i f(x_i)g(x_i)=0+0.1875+0.25+0.1875+0=0.625.

Itu adalah jumlah sampel tanpa bobot. Estimasi trapesium mengalikannya dengan jarak Δx=0.25\Delta x=0.25 dan memberikan setengah bobot pada setiap titik ujung:

0.25(02+0.1875+0.25+0.1875+02)=0.15625.0.25\left(\frac02+0.1875+0.25+0.1875+\frac02\right)=0.15625.

Kedua perhitungan tersebut menjawab pertanyaan numerik yang berbeda; yang kedua adalah aproksimasi integral yang memperhitungkan jarak.

Pertanyaan 5

Berapa perkalian dalam φ₀(x) = 1 dan φ₁(x) = 2x − 1 pada [0, 1], dan apa arti hasilnya?

Tampilkan solusi langkah demi langkah

Kalikan fungsi lalu integralkan:

⟨ϕ0,ϕ1⟩=∫01(2x−1)dx=[x2−x]01=0.\langle\phi_0,\phi_1\rangle=\int_0^1(2x-1)dx =\left[x^2-x\right]_0^1=0.

Nilai nol berarti bentuk konstan dan bentuk linear yang dipusatkan ortogonal di bawah perkalian dalam seragam pada [0,1][0,1]. Ini tidak berarti bahwa setiap definisi kemiripan fungsi yang mungkin akan menyebut keduanya tidak berhubungan; domain atau bobot baru mendefinisikan geometri baru.

Pertanyaan 6

Sebuah alur kerja mengambil sampel satu fungsi secara padat di sekitar x = 0.8 dan secara jarang di tempat lain. Mengapa np.dot biasa atas sampel dapat mengubah perkalian dalam kontinu yang dimaksud, dan apa yang seharusnya dilakukan implementasi?

Tampilkan solusi langkah demi langkah

np.dot memberikan bobot koordinat yang sama pada setiap pasangan yang diberikan. Karena itu, kelompok padat menyumbangkan lebih banyak suku hanya karena memiliki lebih banyak sampel, meskipun domain kontinu seharusnya tidak memberi wilayah tersebut bobot tambahan. Implementasi seharusnya menggunakan posisi sampel yang sebenarnya dengan np.trapezoid, atau membangun bobot kuadratur yang dibenarkan secara eksplisit untuk setiap sampel. Jika pembobotan diskret memang disengaja, dokumentasikan bahwa itu merupakan perkalian dalam yang berbeda, bukan integral kontinu seragam.

Pertanyaan 7

Mengapa S(f, g) = maxₓ f(x)g(x) tidak otomatis merupakan perkalian dalam meskipun berguna sebagai skor pencocokan?

Tampilkan solusi langkah demi langkah

Perkalian dalam harus memenuhi lebih dari sekadar penafsiran yang mirip kemiripan. Perkalian dalam harus linear pada setiap argumen, simetris untuk fungsi real, dan definit positif pada ruang fungsi yang dipilih. Operasi maksimum memilih satu titik dan pada umumnya tidak terdistribusi terhadap penjumlahan, sehingga secara umum S(f1+f2,g)≠S(f1,g)+S(f2,g)S(f_1+f_2,g)\neq S(f_1,g)+S(f_2,g). Karena itu, skor tersebut mungkin berguna, tetapi tidak mewarisi jaminan aljabar dari perkalian dalam.

Pertanyaan 8

Model ekspansi fitur menggunakan h(x) ≈ c₀φ₀(x) + c₁φ₁(x) dengan fungsi ortogonal dari pelajaran ini. Mengapa ⟨h, φ₀⟩ mengisolasi c₀ pada contoh h = 0.6φ₀ − 0.2φ₁?

Tampilkan solusi langkah demi langkah

Gunakan linearitas pada argumen pertama:

⟨h,ϕ0⟩=0.6⟨ϕ0,ϕ0⟩−0.2⟨ϕ1,ϕ0⟩.\langle h,\phi_0\rangle =0.6\langle\phi_0,\phi_0\rangle -0.2\langle\phi_1,\phi_0\rangle.

Fungsi basisnya ortogonal, sehingga perkalian dalam kedua bernilai nol. Fungsi pertama memiliki norma satu, sehingga ⟨ϕ0,ϕ0⟩=1\langle\phi_0,\phi_0\rangle=1. Hasilnya adalah 0.60.6. Koefisien tersebut terisolasi karena geometri basis menghilangkan suku silang; dengan basis yang tidak ortogonal, suku kedua tetap ada dan koefisiennya akan saling terkait.

Sumber

  1. Mathematics for Machine Learning book PDF, Section 3.7
  2. NumPy documentation: numpy.dot
  3. NumPy documentation: numpy.trapezoid