Kursus Matematika untuk AI · Pelajaran 50 dari 180

Proyeksi Menemukan Titik Terdekat

Hitung proyeksi ke sebuah garis, verifikasi residu tegak lurusnya, dan gunakan pemeriksaan NumPy yang transparan untuk mengaproksimasi observasi di dalam subruang model.

Bagikan artikel ini

Sistem AI sering harus menjelaskan sebuah observasi dengan lebih sedikit arah daripada yang terkandung dalam observasi itu sendiri. Jika subruang model berupa garis, titik mana pada garis tersebut yang menjadi penjelasan terbaik untuk vektor yang tidak tepat berada di atasnya?

Proyeksi ortogonal menjawab pertanyaan itu. Proyeksi mempertahankan bagian observasi yang menunjuk sepanjang arah model dan menyisakan residu yang membentuk sudut siku-siku. Residu itu bukan sisa yang samar: panjangnya merupakan galat Euclidean terkecil yang mungkin di antara semua titik pada garis.

Di akhir pelajaran ini, Anda akan mampu menghitung proyeksi sebuah vektor ke garis, membuktikan mengapa residunya tegak lurus, membandingkannya dengan titik-titik kandidat lain, dan mengimplementasikan perhitungan tersebut dalam NumPy tanpa membentuk invers matriks secara eksplisit.

Capaian pembelajaran: Menghitung proyeksi ke garis dan menjelaskan residu yang tegak lurus.

Pelajaran ini menghubungkan Pelajaran 046: Basis Ortonormal Menyederhanakan Koordinat, saat hasil kali dalam membaca koordinat dalam basis yang mudah digunakan, dengan Pelajaran 048: Komplemen Ortogonal Menangkap Bagian yang Tersisa, saat residu dikenali sebagai arah di luar subruang. Buku resmi Mathematics for Machine Learning memetakan topik ini ke Bagian 3.8. Garis, angka, visual, implementasi, hubungan dengan AI, dan penilaian di sini adalah karya orisinal.

Sebuah garis memberi keluarga model satu arah

Misalkan b∈Rnb\in\mathbb{R}^n adalah vektor arah tak nol. Garis melalui titik asal dengan arah tersebut adalah subruang berdimensi satu

U=span⁡{b}={tb:t∈R}.U=\operatorname{span}\{b\}=\{tb:t\in\mathbb{R}\}.

Skalar tt adalah koordinat sepanjang garis. Setiap nilai tt memberikan satu titik kandidat, sehingga memproyeksikan observasi x∈Rnx\in\mathbb{R}^n ke UU berarti memilih koordinat yang membuat tbtb sedekat mungkin dengan xx.

Kondisi rTb=0r^{\mathsf T}b=0 cukup untuk menemukan α\alpha. Substitusikan p=αbp=\alpha b dan kembangkan hasil kali titik:

0=(x−αb)Tb=xTb−αbTb.\begin{aligned} 0&=(x-\alpha b)^{\mathsf T}b\\ &=x^{\mathsf T}b-\alpha b^{\mathsf T}b. \end{aligned}

Karena bb tidak nol, bTb=∥b∥22b^{\mathsf T}b=\lVert b\rVert_2^2 bernilai positif. Kita dapat membaginya dan memperoleh koefisien proyeksi

α=xTbbTb.\boxed{\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}}.

Titik proyeksi dan residu kemudian mengikuti melalui substitusi:

p=xTbbTb b,r=x−p.\boxed{p=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}\,b,\qquad r=x-p.}

Jika bb memiliki panjang satu, penyebutnya adalah 11, yaitu bentuk singkat dari sistem koordinat ortonormal. Untuk arah sembarang, menghilangkan bTbb^{\mathsf T}b secara diam-diam mengasumsikan bahwa bb adalah vektor satuan.

Mengapa titik tegak lurus adalah titik terdekat

Pemeriksaan hasil kali titik memberi tahu kita bahwa residu tegak lurus, tetapi pemeriksaan itu juga membuktikan klaim tentang titik terdekat. Ambil titik lain mana pun pada garis, tbtb. Karena p=αbp=\alpha b,

x−tb=(x−p)+(p−tb)=r+(α−t)b.x-tb=(x-p)+(p-tb)=r+(\alpha-t)b.

Kedua suku tersebut saling tegak lurus: rr tegak lurus terhadap bb, sehingga juga tegak lurus terhadap vektor terskala (α−t)b(\alpha-t)b. Teorema Pythagoras sekarang memberikan

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

Suku kedua tidak pernah negatif, dan bernilai 00 tepat ketika t=αt=\alpha. Karena itu p=αbp=\alpha b adalah titik terdekat yang unik pada garis. Inilah alasan panjang residu ∥r∥2\lVert r\rVert_2 juga disebut galat proyeksi atau galat rekonstruksi untuk model satu arah ini.

Proyeksi yang dikerjakan dengan pemeriksaan titik terdekat secara numerik

Gunakan observasi dan arah model yang sengaja tidak sejajar:

x=[31],b=[21].x=\begin{bmatrix}3\\1\end{bmatrix}, \qquad b=\begin{bmatrix}2\\1\end{bmatrix}.

Nilai 1.41.4 tetap menang bahkan ketika dibandingkan dengan koordinat kandidat yang berdekatan:

Koordinat ttTitik kandidat tbtbJarak ∥x−tb∥2\lVert x-tb\rVert_2
00(0,0)(0,0)10≈3.162\sqrt{10}\approx3.162
11(2,1)(2,1)11
1.41.4(2.8,1.4)(2.8,1.4)5/5≈0.447\sqrt{5}/5\approx0.447
22(4,2)(4,2)2≈1.414\sqrt{2}\approx1.414

Kandidat dengan t=1t=1 lebih dekat daripada kandidat dengan t=2t=2 karena 11 lebih dekat ke koordinat optimal 1.41.4 sepanjang garis. Garis memiliki kandidat yang tak terhingga banyaknya, jadi tabel perbandingan kecil membantu mengilustrasikan teorema, tetapi tidak menggantikan rumus.

Geser observasi ke titik terdekat pada garis
Pilih koordinat observasi

Arah garis ditetapkan pada b = (2, 1). Pindahkan x dengan penggeser, lalu bandingkan titik proyeksi dan residu di tabel.

Akses papan ketik: fokuskan titik biru dan gunakan tombol panah untuk memindahkannya sebesar 0.25. Tahan Shift untuk perpindahan sebesar 1.

x = (3, 1); α = 1,4; p = (2,8, 1,4); r = (0,2, −0,4); r · b = 0; jarak = 0,45.

Observasi, proyeksi, dan residu tegak lurusObservasinya adalah (3, 1). Proyeksinya ke garis adalah (2,8, 1,4), dan residunya adalah (0,2, −0,4) dengan panjang 0,45. Residu putus-putus bertemu garis pada sudut siku-siku.x₁x₂U = span{b}x = (3, 1)p = (2,8, 1,4)r
Nilai proyeksi saat ini, juga tersedia tanpa plot.
BesaranNilaiMakna
Observasi x(3, 1)Vektor yang dikendalikan pembaca dan sedang diaproksimasi.
Koefisien α1,4Koordinat sepanjang arah model.
Titik proyeksi p(2,8, 1,4)Titik terdekat pada garis U.
Residu r(0,2, −0,4)Bagian yang tersisa setelah garis menjelaskan bagiannya.
Residu · arah b0Nol dalam toleransi titik-mengambang yang dinyatakan.
Panjang residu0,45Galat proyeksi Euclidean.
Jarak ke beberapa titik kandidat pada U.
Koordinat tTitik kandidat tbJarak ke x
0(0, 0)3,16
1(2, 1)1
1,4 (terdekat untuk x ini)(2,8, 1,4)0,45
2(4, 2)1,41

Tabel-tabel ini adalah cadangan numerik yang lengkap. Memindahkan x mengubah setiap nilai, tetapi aturan geometrinya tetap: residu tegak lurus dan proyeksi meminimalkan jarak.

Observasi biru dapat dipindahkan dengan penunjuk, penggeser koordinat, atau tombol panah. Titik hijau adalah proyeksinya ke garis putus-putus; segmen kuning ambar adalah residu tegak lurus.

Implementasi NumPy yang transparan

Implementasinya harus mengikuti penurunan rumus. numpy.dot menghitung hasil kali dalam satu dimensi, sedangkan numpy.linalg.norm menghitung panjang Euclidean. Kode di bawah juga membandingkan rekonstruksi dengan observasi asli dan memeriksa hasil kali titik yang tegak lurus menggunakan toleransi eksplisit. numpy.allclose membandingkan array dalam toleransi absolut dan relatif; memilih toleransi adalah bagian dari pengujian numerik, bukan cara untuk membuktikan kesamaan tepat dalam aritmetika titik-mengambang.

import numpy as np

x = np.array([3.0, 1.0])
b = np.array([2.0, 1.0])

coefficient = np.dot(x, b) / np.dot(b, b)
projected = coefficient * b
residual = x - projected

tolerance = 1e-12
reconstruction_ok = np.allclose(
    projected + residual, x, rtol=0.0, atol=tolerance
)
orthogonality_ok = np.isclose(
    np.dot(residual, b), 0.0, rtol=0.0, atol=tolerance
)

candidates = np.array([0.0, 1.0, 1.4, 2.0])
candidate_points = candidates[:, None] * b
candidate_distances = np.linalg.norm(x - candidate_points, axis=1)
best_candidate = candidates[np.argmin(candidate_distances)]

print(coefficient)
print(projected)
print(residual)
print(np.dot(residual, b))
print(np.linalg.norm(residual))
print(reconstruction_ok, orthogonality_ok)
print(candidate_distances)
print(best_candidate)

Keluaran yang telah diverifikasi:

1.4
[2.8 1.4]
[ 0.2 -0.4]
4.440892098500626e-16
0.4472135954999579
True True
[3.16227766 1.         0.4472136  1.41421356]
1.4

Tidak ada invers eksplisit dalam proyeksi garis ini. Satu-satunya pembagian adalah dengan skalar bTbb^{\mathsf T}b, yang positif karena arahnya tidak nol. Untuk subruang model berdimensi lebih tinggi, beberapa koefisien menjadi saling terkait dan implementasinya memerlukan penyelesaian aljabar linear yang stabil; pelajaran berikutnya akan menjelaskan perluasan ini.

Satu arah model dapat menjelaskan satu pola fitur AI

Misalkan sebuah encoder menghasilkan observasi dua fitur xx dan seorang pakar domain telah mengidentifikasi satu pola bermakna bb. Garis U=span⁡{b}U=\operatorname{span}\{b\} berisi setiap kemungkinan kekuatan dan tanda pola tersebut. Koefisien

α=xTbbTb\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}

adalah ringkasan satu angka terbaik dari xx menggunakan arah tersebut. Merekonstruksi αb\alpha b menghasilkan komponen yang dijelaskan model; r=x−αbr=x-\alpha b adalah bagian yang tidak dapat dijelaskan oleh model satu arah itu. Pemeriksaan ortogonalitas mengatakan bahwa residu tidak mengandung komponen tambahan sepanjang arah yang sama, bukan bahwa residu itu tidak mengandung informasi sama sekali.

Inilah inti geometris dari pencocokan kuadrat terkecil satu fitur. Jika arah fitur dinormalisasi, penyebutnya hilang. Jika fitur yang dipilih tidak dinormalisasi, mempertahankan penyebut mencegah skala arbitrer untuk menulis garis yang sama mengubah titik hasil rekonstruksi. Dalam alur representasi nyata, pilihan arah dan metrik tetap perlu divalidasi: residu yang kecil berarti “dekat menurut garis dan jarak Euclidean ini”, bukan “lengkap secara semantik”.

Kasus batas yang mengubah jawaban

Arah nol bukan garis. Jika b=0b=0, maka bTb=0b^{\mathsf T}b=0 dan rumus koefisien membagi dengan nol. Tidak ada arah untuk diproyeksikan; implementasi produksi harus menolak input ini, bukan membuat koefisien.

Garis afin memiliki offset. Rumus di atas adalah untuk garis melalui titik asal. Untuk c+tbc+tb, pertama-tama pusatkan observasi: proyeksikan x−cx-c ke bb, lalu tambahkan kembali cc:

proj⁡c+span⁡{b}(x)=c+(x−c)TbbTbb.\operatorname{proj}_{c+\operatorname{span}\{b\}}(x) =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Menerapkan rumus garis melalui titik asal langsung pada xx akan memaksa jawaban berada di garis yang berbeda.

Ortogonal tidak berarti tidak relevan. Residu dapat tegak lurus terhadap arah model yang dipilih dan tetap membawa sinyal besar, fitur yang hilang, atau galat sistematis. Proyeksi hanya menjawab pertanyaan yang didefinisikan oleh subruang dan jarak yang dipilih.

Proyeksi mengubah pertanyaan “penjelasan mana yang paling dekat?” menjadi koefisien, titik, residu, dan pemeriksaan toleransi yang dapat direproduksi. Pelajaran 051 akan mengangkat operasi satu observasi ini menjadi matriks proyeksi yang dapat mengubah seluruh dataset, sedangkan Pelajaran 052 akan menghubungkan geometri titik terdekat yang sama dengan regresi kuadrat terkecil.

Uji pemahaman Anda

Pertanyaan 1

Untuk x = (4, 1) dan b = (1, 1), hitung koefisien proyeksi α dan titik proyeksinya.

Tampilkan solusi langkah demi langkah

Pertama hitung dua hasil kali titik:

xTb=4⋅1+1⋅1=5,bTb=12+12=2.x^{\mathsf T}b=4\cdot1+1\cdot1=5, \qquad b^{\mathsf T}b=1^2+1^2=2.

Maka α=5/2\alpha=5/2. Kalikan skalar ini dengan bb:

p=52(1,1)=(52,52).p=\frac52(1,1)=\left(\frac52,\frac52\right).

Hasilnya berada pada garis y=xy=x, karena setiap kelipatan (1,1)(1,1) harus berada di sana.

Pertanyaan 2

Untuk x = (4, 1) dan b = (1, 1) yang sama, hitung residu dan verifikasi bahwa residu tegak lurus terhadap b.

Tampilkan solusi langkah demi langkah

Dari perhitungan sebelumnya,

r=x−p=(4,1)−(52,52)=(32,−32).r=x-p=(4,1)-\left(\frac52,\frac52\right) =\left(\frac32,-\frac32\right).

Sekarang ambil hasil kali titik dengan arah garis:

rTb=32⋅1+(−32)⋅1=0.r^{\mathsf T}b=\frac32\cdot1+\left(-\frac32\right)\cdot1=0.

Nilai nol mengonfirmasi bahwa residu ortogonal terhadap arah garis menurut hasil kali titik standar.

Pertanyaan 3

Mengapa koefisien proyeksi menyertakan bᵀb di penyebut? Apa yang salah jika b diganti dengan 3b tetapi penyebutnya dihilangkan?

Tampilkan solusi langkah demi langkah

Koefisien diperoleh dari persamaan ortogonalitas

0=(x−αb)Tb=xTb−αbTb.0=(x-\alpha b)^{\mathsf T}b=x^{\mathsf T}b-\alpha b^{\mathsf T}b.

Menyelesaikan α\alpha memerlukan pembagian dengan bTbb^{\mathsf T}b, yang memperhitungkan panjang arah. Jika bb diganti dengan 3b3b, pembilang xT(3b)x^{\mathsf T}(3b) juga dikalikan 33, sedangkan penyebut yang benar dikalikan 99. Maka rasionya menjadi sepertiga dari semula, dan hasil akhir α(3b)\alpha(3b) tetap sama. Tanpa penyebut, hasilnya bergantung pada skala arbitrer yang digunakan untuk menuliskan garis yang sama.

Pertanyaan 4

Tunjukkan mengapa proyeksi lebih dekat daripada kandidat sembarang tb tanpa memeriksa daftar panjang titik kandidat.

Tampilkan solusi langkah demi langkah

Tuliskan observasi sebagai x=p+rx=p+r dengan p=αbp=\alpha b dan r⊥br\perp b. Untuk kandidat mana pun tbtb,

x−tb=r+(α−t)b.x-tb=r+(\alpha-t)b.

Kedua suku tegak lurus, sehingga Teorema Pythagoras memberikan

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

Suku tambahan tidak negatif dan hanya menjadi nol saat t=αt=\alpha karena b≠0b\ne0. Jadi proyeksi memiliki jarak terkecil di seluruh garis, bukan hanya di antara kandidat yang kebetulan kita sampel.

Pertanyaan 5

Dalam contoh kerja x = (3, 1) dan b = (2, 1), bandingkan titik kandidat untuk t = 1 dan t = 2 dengan proyeksi. Berapa jaraknya, dan mengapa simetri yang tampak tidak berlaku di sini?

Tampilkan solusi langkah demi langkah

Koordinat proyeksi adalah α=1.4\alpha=1.4, dan jaraknya adalah 5/5≈0.447\sqrt5/5\approx0.447. Untuk t=1t=1, titiknya (2,1)(2,1) dan selisihnya dari xx adalah (1,0)(1,0), sehingga jaraknya 11. Untuk t=2t=2, titiknya (4,2)(4,2) dan selisihnya adalah (−1,−1)(-1,-1), sehingga jaraknya 2≈1.414\sqrt2\approx1.414. Keduanya tidak sama karena observasi tidak berada secara simetris terhadap interval koordinat garis [1,2][1,2] dalam metrik Euclidean. Menghitung ulang titik dan selisih mencegah nilai tabel yang disalin menutupi kesalahan aritmetika.

Pertanyaan 6

Implementasi mencetak hasil kali titik residu sebesar −2.2 × 10⁻¹⁶. Haruskah proyeksi ditolak karena nilainya tidak benar-benar nol?

Tampilkan solusi langkah demi langkah

Tidak. Hasil matematisnya adalah nol, sedangkan aritmetika titik-mengambang biner dapat meninggalkan sisa pembulatan yang sangat kecil. Pilih toleransi yang sesuai dengan skala input dan periksa hasil dengan perbandingan yang memperhatikan toleransi, misalnya np.isclose(np.dot(residual, b), 0.0, rtol=0.0, atol=1e-12). Toleransi tidak boleh disalin secara buta untuk data yang sangat besar atau sangat kecil; toleransi merupakan bagian dari kontrak numerik.

Pertanyaan 7

Apa yang berubah jika keluarga modelnya adalah garis afin c + tb, bukan garis melalui titik asal?

Tampilkan solusi langkah demi langkah

Offset mengubah titik-titik yang menjadi kandidat, jadi pertama-tama geser observasi dengan cc:

y=x−c.y=x-c.

Proyeksikan yy ke arah bb menggunakan

α=yTbbTb.\alpha=\frac{y^{\mathsf T}b}{b^{\mathsf T}b}.

Kemudian geser kembali:

p=c+αb=c+(x−c)TbbTbb.p=c+\alpha b =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Menggunakan xx alih-alih x−cx-c akan menyelesaikan persoalan garis melalui titik asal dan dapat menempatkan hasil di luar keluarga model afin yang dimaksud.

Pertanyaan 8

Seorang insinyur AI berkata: "Residu ortogonal terhadap arah model, jadi residu tidak mengandung informasi yang berguna." Bagian mana yang benar, dan bagian mana yang terlalu kuat?

Tampilkan solusi langkah demi langkah

Bagian yang benar bersifat geometris: residu memiliki hasil kali titik nol dengan arah yang dipilih, sehingga model tidak dapat menguranginya hanya dengan mengubah koefisien skalar sepanjang arah tersebut. Kesimpulan tentang kegunaan terlalu kuat. Residu dapat memuat fitur lain, galat sistematis, noise, atau seluruh arah yang dihilangkan oleh model satu dimensi. Ortogonalitas bersifat relatif terhadap subruang dan metrik yang dipilih; ortogonalitas bukan klaim bahwa sisa data tidak bermakna.

Sumber

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.dot
  3. NumPy documentation: numpy.linalg.norm
  4. NumPy documentation: numpy.allclose