Kursus Matematika untuk AI · Pelajaran 50 dari 180
Proyeksi Menemukan Titik Terdekat
Hitung proyeksi ke sebuah garis, verifikasi residu tegak lurusnya, dan gunakan pemeriksaan NumPy yang transparan untuk mengaproksimasi observasi di dalam subruang model.
Sistem AI sering harus menjelaskan sebuah observasi dengan lebih sedikit arah daripada yang terkandung dalam observasi itu sendiri. Jika subruang model berupa garis, titik mana pada garis tersebut yang menjadi penjelasan terbaik untuk vektor yang tidak tepat berada di atasnya?
Proyeksi ortogonal menjawab pertanyaan itu. Proyeksi mempertahankan bagian observasi yang menunjuk sepanjang arah model dan menyisakan residu yang membentuk sudut siku-siku. Residu itu bukan sisa yang samar: panjangnya merupakan galat Euclidean terkecil yang mungkin di antara semua titik pada garis.
Di akhir pelajaran ini, Anda akan mampu menghitung proyeksi sebuah vektor ke garis, membuktikan mengapa residunya tegak lurus, membandingkannya dengan titik-titik kandidat lain, dan mengimplementasikan perhitungan tersebut dalam NumPy tanpa membentuk invers matriks secara eksplisit.
Capaian pembelajaran: Menghitung proyeksi ke garis dan menjelaskan residu yang tegak lurus.
Pelajaran ini menghubungkan Pelajaran 046: Basis Ortonormal Menyederhanakan Koordinat, saat hasil kali dalam membaca koordinat dalam basis yang mudah digunakan, dengan Pelajaran 048: Komplemen Ortogonal Menangkap Bagian yang Tersisa, saat residu dikenali sebagai arah di luar subruang. Buku resmi Mathematics for Machine Learning memetakan topik ini ke Bagian 3.8. Garis, angka, visual, implementasi, hubungan dengan AI, dan penilaian di sini adalah karya orisinal.
Sebuah garis memberi keluarga model satu arah
Misalkan adalah vektor arah tak nol. Garis melalui titik asal dengan arah tersebut adalah subruang berdimensi satu
Skalar adalah koordinat sepanjang garis. Setiap nilai memberikan satu titik kandidat, sehingga memproyeksikan observasi ke berarti memilih koordinat yang membuat sedekat mungkin dengan .
Kondisi cukup untuk menemukan . Substitusikan dan kembangkan hasil kali titik:
Karena tidak nol, bernilai positif. Kita dapat membaginya dan memperoleh koefisien proyeksi
Titik proyeksi dan residu kemudian mengikuti melalui substitusi:
Jika memiliki panjang satu, penyebutnya adalah , yaitu bentuk singkat dari sistem koordinat ortonormal. Untuk arah sembarang, menghilangkan secara diam-diam mengasumsikan bahwa adalah vektor satuan.
Mengapa titik tegak lurus adalah titik terdekat
Pemeriksaan hasil kali titik memberi tahu kita bahwa residu tegak lurus, tetapi pemeriksaan itu juga membuktikan klaim tentang titik terdekat. Ambil titik lain mana pun pada garis, . Karena ,
Kedua suku tersebut saling tegak lurus: tegak lurus terhadap , sehingga juga tegak lurus terhadap vektor terskala . Teorema Pythagoras sekarang memberikan
Suku kedua tidak pernah negatif, dan bernilai tepat ketika . Karena itu adalah titik terdekat yang unik pada garis. Inilah alasan panjang residu juga disebut galat proyeksi atau galat rekonstruksi untuk model satu arah ini.
Proyeksi yang dikerjakan dengan pemeriksaan titik terdekat secara numerik
Gunakan observasi dan arah model yang sengaja tidak sejajar:
Nilai tetap menang bahkan ketika dibandingkan dengan koordinat kandidat yang berdekatan:
| Koordinat | Titik kandidat | Jarak |
|---|---|---|
Kandidat dengan lebih dekat daripada kandidat dengan karena lebih dekat ke koordinat optimal sepanjang garis. Garis memiliki kandidat yang tak terhingga banyaknya, jadi tabel perbandingan kecil membantu mengilustrasikan teorema, tetapi tidak menggantikan rumus.
Akses papan ketik: fokuskan titik biru dan gunakan tombol panah untuk memindahkannya sebesar 0.25. Tahan Shift untuk perpindahan sebesar 1.
x = (3, 1); α = 1,4; p = (2,8, 1,4); r = (0,2, −0,4); r · b = 0; jarak = 0,45.
| Besaran | Nilai | Makna |
|---|---|---|
| Observasi x | (3, 1) | Vektor yang dikendalikan pembaca dan sedang diaproksimasi. |
| Koefisien α | 1,4 | Koordinat sepanjang arah model. |
| Titik proyeksi p | (2,8, 1,4) | Titik terdekat pada garis U. |
| Residu r | (0,2, −0,4) | Bagian yang tersisa setelah garis menjelaskan bagiannya. |
| Residu · arah b | 0 | Nol dalam toleransi titik-mengambang yang dinyatakan. |
| Panjang residu | 0,45 | Galat proyeksi Euclidean. |
| Koordinat t | Titik kandidat tb | Jarak ke x |
|---|---|---|
| 0 | (0, 0) | 3,16 |
| 1 | (2, 1) | 1 |
| 1,4 (terdekat untuk x ini) | (2,8, 1,4) | 0,45 |
| 2 | (4, 2) | 1,41 |
Tabel-tabel ini adalah cadangan numerik yang lengkap. Memindahkan x mengubah setiap nilai, tetapi aturan geometrinya tetap: residu tegak lurus dan proyeksi meminimalkan jarak.
Observasi biru dapat dipindahkan dengan penunjuk, penggeser koordinat, atau tombol panah. Titik hijau adalah proyeksinya ke garis putus-putus; segmen kuning ambar adalah residu tegak lurus.
Implementasi NumPy yang transparan
Implementasinya harus mengikuti penurunan rumus. numpy.dot menghitung hasil kali dalam satu dimensi, sedangkan numpy.linalg.norm menghitung panjang Euclidean. Kode di bawah juga membandingkan rekonstruksi dengan observasi asli dan memeriksa hasil kali titik yang tegak lurus menggunakan toleransi eksplisit. numpy.allclose membandingkan array dalam toleransi absolut dan relatif; memilih toleransi adalah bagian dari pengujian numerik, bukan cara untuk membuktikan kesamaan tepat dalam aritmetika titik-mengambang.
import numpy as np
x = np.array([3.0, 1.0])
b = np.array([2.0, 1.0])
coefficient = np.dot(x, b) / np.dot(b, b)
projected = coefficient * b
residual = x - projected
tolerance = 1e-12
reconstruction_ok = np.allclose(
projected + residual, x, rtol=0.0, atol=tolerance
)
orthogonality_ok = np.isclose(
np.dot(residual, b), 0.0, rtol=0.0, atol=tolerance
)
candidates = np.array([0.0, 1.0, 1.4, 2.0])
candidate_points = candidates[:, None] * b
candidate_distances = np.linalg.norm(x - candidate_points, axis=1)
best_candidate = candidates[np.argmin(candidate_distances)]
print(coefficient)
print(projected)
print(residual)
print(np.dot(residual, b))
print(np.linalg.norm(residual))
print(reconstruction_ok, orthogonality_ok)
print(candidate_distances)
print(best_candidate)
Keluaran yang telah diverifikasi:
1.4
[2.8 1.4]
[ 0.2 -0.4]
4.440892098500626e-16
0.4472135954999579
True True
[3.16227766 1. 0.4472136 1.41421356]
1.4
Tidak ada invers eksplisit dalam proyeksi garis ini. Satu-satunya pembagian adalah dengan skalar , yang positif karena arahnya tidak nol. Untuk subruang model berdimensi lebih tinggi, beberapa koefisien menjadi saling terkait dan implementasinya memerlukan penyelesaian aljabar linear yang stabil; pelajaran berikutnya akan menjelaskan perluasan ini.
Satu arah model dapat menjelaskan satu pola fitur AI
Misalkan sebuah encoder menghasilkan observasi dua fitur dan seorang pakar domain telah mengidentifikasi satu pola bermakna . Garis berisi setiap kemungkinan kekuatan dan tanda pola tersebut. Koefisien
adalah ringkasan satu angka terbaik dari menggunakan arah tersebut. Merekonstruksi menghasilkan komponen yang dijelaskan model; adalah bagian yang tidak dapat dijelaskan oleh model satu arah itu. Pemeriksaan ortogonalitas mengatakan bahwa residu tidak mengandung komponen tambahan sepanjang arah yang sama, bukan bahwa residu itu tidak mengandung informasi sama sekali.
Inilah inti geometris dari pencocokan kuadrat terkecil satu fitur. Jika arah fitur dinormalisasi, penyebutnya hilang. Jika fitur yang dipilih tidak dinormalisasi, mempertahankan penyebut mencegah skala arbitrer untuk menulis garis yang sama mengubah titik hasil rekonstruksi. Dalam alur representasi nyata, pilihan arah dan metrik tetap perlu divalidasi: residu yang kecil berarti “dekat menurut garis dan jarak Euclidean ini”, bukan “lengkap secara semantik”.
Kasus batas yang mengubah jawaban
Arah nol bukan garis. Jika , maka dan rumus koefisien membagi dengan nol. Tidak ada arah untuk diproyeksikan; implementasi produksi harus menolak input ini, bukan membuat koefisien.
Garis afin memiliki offset. Rumus di atas adalah untuk garis melalui titik asal. Untuk , pertama-tama pusatkan observasi: proyeksikan ke , lalu tambahkan kembali :
Menerapkan rumus garis melalui titik asal langsung pada akan memaksa jawaban berada di garis yang berbeda.
Ortogonal tidak berarti tidak relevan. Residu dapat tegak lurus terhadap arah model yang dipilih dan tetap membawa sinyal besar, fitur yang hilang, atau galat sistematis. Proyeksi hanya menjawab pertanyaan yang didefinisikan oleh subruang dan jarak yang dipilih.
Proyeksi mengubah pertanyaan “penjelasan mana yang paling dekat?” menjadi koefisien, titik, residu, dan pemeriksaan toleransi yang dapat direproduksi. Pelajaran 051 akan mengangkat operasi satu observasi ini menjadi matriks proyeksi yang dapat mengubah seluruh dataset, sedangkan Pelajaran 052 akan menghubungkan geometri titik terdekat yang sama dengan regresi kuadrat terkecil.
Uji pemahaman Anda
Pertanyaan 1
Untuk x = (4, 1) dan b = (1, 1), hitung koefisien proyeksi α dan titik proyeksinya.
Tampilkan solusi langkah demi langkah
Pertama hitung dua hasil kali titik:
Maka . Kalikan skalar ini dengan :
Hasilnya berada pada garis , karena setiap kelipatan harus berada di sana.
Pertanyaan 2
Untuk x = (4, 1) dan b = (1, 1) yang sama, hitung residu dan verifikasi bahwa residu tegak lurus terhadap b.
Tampilkan solusi langkah demi langkah
Dari perhitungan sebelumnya,
Sekarang ambil hasil kali titik dengan arah garis:
Nilai nol mengonfirmasi bahwa residu ortogonal terhadap arah garis menurut hasil kali titik standar.
Pertanyaan 3
Mengapa koefisien proyeksi menyertakan bᵀb di penyebut? Apa yang salah jika b diganti dengan 3b tetapi penyebutnya dihilangkan?
Tampilkan solusi langkah demi langkah
Koefisien diperoleh dari persamaan ortogonalitas
Menyelesaikan memerlukan pembagian dengan , yang memperhitungkan panjang arah. Jika diganti dengan , pembilang juga dikalikan , sedangkan penyebut yang benar dikalikan . Maka rasionya menjadi sepertiga dari semula, dan hasil akhir tetap sama. Tanpa penyebut, hasilnya bergantung pada skala arbitrer yang digunakan untuk menuliskan garis yang sama.
Pertanyaan 4
Tunjukkan mengapa proyeksi lebih dekat daripada kandidat sembarang tb tanpa memeriksa daftar panjang titik kandidat.
Tampilkan solusi langkah demi langkah
Tuliskan observasi sebagai dengan dan . Untuk kandidat mana pun ,
Kedua suku tegak lurus, sehingga Teorema Pythagoras memberikan
Suku tambahan tidak negatif dan hanya menjadi nol saat karena . Jadi proyeksi memiliki jarak terkecil di seluruh garis, bukan hanya di antara kandidat yang kebetulan kita sampel.
Pertanyaan 5
Dalam contoh kerja x = (3, 1) dan b = (2, 1), bandingkan titik kandidat untuk t = 1 dan t = 2 dengan proyeksi. Berapa jaraknya, dan mengapa simetri yang tampak tidak berlaku di sini?
Tampilkan solusi langkah demi langkah
Koordinat proyeksi adalah , dan jaraknya adalah . Untuk , titiknya dan selisihnya dari adalah , sehingga jaraknya . Untuk , titiknya dan selisihnya adalah , sehingga jaraknya . Keduanya tidak sama karena observasi tidak berada secara simetris terhadap interval koordinat garis dalam metrik Euclidean. Menghitung ulang titik dan selisih mencegah nilai tabel yang disalin menutupi kesalahan aritmetika.
Pertanyaan 6
Implementasi mencetak hasil kali titik residu sebesar −2.2 × 10⁻¹⁶. Haruskah proyeksi ditolak karena nilainya tidak benar-benar nol?
Tampilkan solusi langkah demi langkah
Tidak. Hasil matematisnya adalah nol, sedangkan aritmetika titik-mengambang biner dapat meninggalkan sisa pembulatan yang sangat kecil. Pilih toleransi yang sesuai dengan skala input dan periksa hasil dengan perbandingan yang memperhatikan toleransi, misalnya np.isclose(np.dot(residual, b), 0.0, rtol=0.0, atol=1e-12). Toleransi tidak boleh disalin secara buta untuk data yang sangat besar atau sangat kecil; toleransi merupakan bagian dari kontrak numerik.
Pertanyaan 7
Apa yang berubah jika keluarga modelnya adalah garis afin c + tb, bukan garis melalui titik asal?
Tampilkan solusi langkah demi langkah
Offset mengubah titik-titik yang menjadi kandidat, jadi pertama-tama geser observasi dengan :
Proyeksikan ke arah menggunakan
Kemudian geser kembali:
Menggunakan alih-alih akan menyelesaikan persoalan garis melalui titik asal dan dapat menempatkan hasil di luar keluarga model afin yang dimaksud.
Pertanyaan 8
Seorang insinyur AI berkata: "Residu ortogonal terhadap arah model, jadi residu tidak mengandung informasi yang berguna." Bagian mana yang benar, dan bagian mana yang terlalu kuat?
Tampilkan solusi langkah demi langkah
Bagian yang benar bersifat geometris: residu memiliki hasil kali titik nol dengan arah yang dipilih, sehingga model tidak dapat menguranginya hanya dengan mengubah koefisien skalar sepanjang arah tersebut. Kesimpulan tentang kegunaan terlalu kuat. Residu dapat memuat fitur lain, galat sistematis, noise, atau seluruh arah yang dihilangkan oleh model satu dimensi. Ortogonalitas bersifat relatif terhadap subruang dan metrik yang dipilih; ortogonalitas bukan klaim bahwa sisa data tidak bermakna.