Kursus Matematika untuk AI · Pelajaran 52 dari 180
Kuadrat Terkecil Adalah Masalah Proyeksi
Turunkan pencocokan garis kuadrat terkecil sebagai proyeksi ortogonal, verifikasi residual dengan NumPy, dan lihat mengapa menyelesaikan persamaan normal lebih baik daripada membentuk invers eksplisit.
Bayangkan sebuah model hanya boleh menggambar satu garis lurus melalui sekumpulan observasi. Garis mana yang menghasilkan prediksi paling dekat, dan apa arti “paling dekat” ketika target disimpan sebagai vektor, bukan sebagai titik pada grafik?
Kuadrat terkecil biasa menjawab kedua pertanyaan itu dengan geometri. Metode ini memilih vektor prediksi di dalam ruang kolom matriks desain yang paling dekat dengan vektor target. Selisih antara kedua vektor itu adalah residual, dan residual tegak lurus terhadap setiap arah fitur yang digunakan oleh pencocokan.
Di akhir pelajaran ini, Anda akan dapat menuliskan pencocokan garis sebagai masalah matriks, menurunkan persamaan normal dari ortogonalitas residual, menghitung pencocokan kecil dengan tangan, memverifikasinya dengan NumPy, dan mengenali kapan perhitungannya dibatasi oleh rank atau pilihan fitur model.
Capaian pembelajaran: Menurunkan geometri persamaan normal tanpa mengandalkan invers eksplisit.
Pelajaran ini menghubungkan Pelajaran 025: Penyelesaian Numerik Tanpa Invers Eksplisit, saat sistem linear diperlakukan sebagai masalah untuk solver dan bukan sebagai masalah invers matriks, dengan Pelajaran 050: Proyeksi Menemukan Titik Terdekat dan Pelajaran 051: Matriks Proyeksi Mentransformasi Seluruh Dataset. Bagian 3.8 dari buku resmi Mathematics for Machine Learning menjadi landasan kurikulumnya. Data, aritmetika, visual, lab NumPy, hubungan dengan AI, dan penilaian di sini bersifat orisinal.
Pencocokan garis menjadi subruang vektor prediksi
Mulailah dengan observasi. Observasi ke- memiliki satu fitur masukan dan target numerik . Garis dengan intercept memprediksi
dengan sebagai intercept dan sebagai kemiringan. Tanda topi pada berarti “prediksi”, bukan target terukur yang baru.
Untuk menampilkan geometrinya, masukkan observasi ke dalam matriks desain:
Kolom pertama adalah kolom berisi angka satu. Kolom ini memberi model offset bebas; tanpa kolom tersebut, garis akan dipaksa melewati titik asal. Perkalian matriks menghasilkan seluruh vektor prediksi dalam satu operasi:
Jadi, setiap prediksi garis yang mungkin berada di dalam span dua kolom . Span itu adalah subruang dari , yaitu ruang observasi. Koordinat sebuah titik di ruang ini berhubungan dengan observasi, bukan dengan dua parameter model.
Ini adalah pernyataan tentang geometri Euclidean berdimensi hingga. Pernyataan ini tidak mengasumsikan bahwa residual berdistribusi Gaussian, saling independen, atau bahkan merupakan “noise”. Asumsi tersebut dapat penting dalam analisis statistik, tetapi hasil proyeksi berasal dari jarak galat kuadrat dan kolom fitur yang dipilih.
Residual tegak lurus menghasilkan persamaan normal
Jika adalah titik terdekat di , residual harus tegak lurus terhadap setiap arah di subruang itu. Secara khusus, residual harus tegak lurus terhadap setiap kolom . Dengan menuliskan semua hasil kali titik tersebut bersama-sama, kita memperoleh
Substitusikan :
Inilah persamaan normal. Sisi kiri adalah matriks yang dikalikan dengan vektor koefisien berisi dua entri, sedangkan sisi kanan adalah vektor berisi dua entri. Ini bukan mantra statistik; ini adalah bentuk aljabar dari kondisi sudut siku-siku.
Mengapa ortogonalitas menghasilkan titik terdekat, bukan sekadar titik yang kebetulan lulus uji hasil kali titik? Ambil sembarang vektor koefisien lain dan bandingkan prediksinya dengan :
Suku pertama tegak lurus terhadap suku kedua karena . Teorema Pythagoras kemudian memberikan
Prediksi lain di ruang kolom yang sama tidak dapat mengalahkan prediksi hasil pencocokan. Jika kedua kolom bebas linear, koefisiennya juga unik. Jika keduanya bergantung, prediksi hasil proyeksi tetap dapat terdefinisi dengan baik meskipun beberapa vektor koefisien menggambarkannya.
Pencocokan garis empat observasi, dihitung dengan tangan
Gunakan empat observasi dengan satu fitur:
Titik-titik ini tidak tepat berada pada satu garis, sehingga geometri residual terlihat jelas. Dengan kolom intercept disertakan,
Pemeriksaan ortogonalitas pertama memiliki interpretasi yang berguna: karena model ini memuat intercept, jumlah residual sama dengan nol. Pemeriksaan kedua berarti residual tidak lagi memiliki keselarasan linear dengan nilai fitur. Tidak satu pun pernyataan itu berarti setiap residual kecil atau bahwa garis akan menggeneralisasi ke masukan baru.
Tampilan koordinat demi koordinat
- target y
- prediksi ŷ
- residual r = y − ŷ
Dekomposisi ruang observasi
| i | xᵢ | yᵢ | ŷᵢ | rᵢ |
|---|---|---|---|---|
| 0 | 0 | 1.0 | 0.9 | +0.1 |
| 1 | 1 | 2.0 | 1.8 | +0.2 |
| 2 | 2 | 2.0 | 2.7 | -0.7 |
| 3 | 3 | 4.0 | 3.6 | +0.4 |
Ortogonalitas: Xᵀr = [0, 0]
Panjang residual kuadrat: ‖r‖₂² = 0.70
Panel kanan menggunakan koordinat ortogonal skematis untuk vektor dalam ℝ⁴. Tabel mempertahankan keempat komponen persis, sehingga visual tidak meminta gambar dua dimensi untuk menggantikan seluruh ruang observasi.
Proyeksi yang sama dalam NumPy yang dapat dijalankan
Perhitungan dengan tangan dapat diterjemahkan langsung menjadi program NumPy kecil. Dengan satu sampel per baris, berbentuk dan berbentuk , sehingga X @ beta berbentuk $(m,). Dokumentasi [matmul`](https://numpy.org/doc/stable/reference/generated/numpy.matmul.html) NumPy menjelaskan perkalian matriks yang memperhatikan bentuk ini.
import numpy as np
x = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])
# A column of ones gives the line an intercept.
X = np.column_stack((np.ones_like(x), x))
normal_matrix = X.T @ X
normal_rhs = X.T @ y
# Solve (X.T @ X) @ beta = X.T @ y without forming an inverse.
beta = np.linalg.solve(normal_matrix, normal_rhs)
y_hat = X @ beta
residual = y - y_hat
print("X.T @ X =\n", normal_matrix)
print("X.T @ y =", normal_rhs)
print("beta =", beta)
print("y_hat =", y_hat)
print("residual =", residual)
print("X.T @ residual =", X.T @ residual)
print("squared residual length =", np.linalg.norm(residual) ** 2)
assert np.allclose(X.T @ residual, np.zeros(X.shape[1]))
Hasilnya adalah:
X.T @ X =
[[ 4. 6.]
[ 6. 14.]]
X.T @ y = [ 9. 18.]
beta = [0.9 0.9]
y_hat = [0.9 1.8 2.7 3.6]
residual = [ 0.1 0.2 -0.7 0.4]
X.T @ residual = [0. 0.]
squared residual length = 0.7
numpy.linalg.solve menyelesaikan sistem linear persegi untuk vektor koefisien. Dalam contoh ini, berbentuk persegi dan nonsingular, sehingga cocok sebagai contoh pembelajaran. assert menggunakan numpy.allclose karena aritmetika floating-point dapat meninggalkan nilai kecil ketika matematika eksaknya menyatakan nol. Ukuran galat memakai numpy.linalg.norm, yang menghitung panjang Euclidean saat menggunakan norm vektor bawaannya.
Mengapa tidak mengalikan dengan invers eksplisit?
Untuk contoh kecil ini, diagnostik berikut menghasilkan vektor koefisien yang sama hingga toleransi floating-point:
beta_via_inverse = np.linalg.inv(normal_matrix) @ normal_rhs
print(np.allclose(beta, beta_via_inverse)) # True for this toy system
Kesesuaian itu tidak menjadikan invers sebagai implementasi pilihan. Invers melakukan lebih banyak pekerjaan daripada menyelesaikan satu ruas kanan, dan membentuknya dapat membuka perhitungan pada galat numerik yang sebenarnya dapat dihindari. Ini adalah pelajaran implementasi yang sama seperti Pelajaran 025: nyatakan sistem yang Anda perlukan dan gunakan solver yang dirancang untuk sistem itu.
Apa yang dikatakan geometri tentang model AI
Dalam baseline regresi kecil, kolom-kolom adalah arah fitur yang boleh digabungkan oleh model. Vektor target berisi satu hasil numerik yang diinginkan untuk setiap contoh pelatihan. Kuadrat terkecil menemukan vektor hasil yang paling dekat dan dapat diekspresikan oleh arah fitur tersebut. Residual adalah bagian dari target pelatihan yang dibiarkan di luar span oleh kumpulan fitur ini.
Sudut pandang ini membuat dua kebiasaan evaluasi menjadi konkret:
- Residual pelatihan yang kecil berarti ruang fitur yang dipilih dapat merekonstruksi target yang diamati dengan dekat di bawah galat kuadrat. Itu sendiri tidak mengukur kinerja pada contoh baru.
- Residual yang besar dapat berarti hasil yang bising, fitur yang hilang, pencilan, atau garis yang terlalu terbatas untuk hubungan tersebut. Geometri mengidentifikasi hal yang tidak dapat diekspresikan model saat ini; geometri tidak mengidentifikasi penyebabnya.
Intercept juga mengodekan pilihan pemodelan. Dengan kolom berisi satu, pencocokan dapat bergeser secara vertikal dan jumlah residual sama dengan nol. Menghapus kolom itu memaksa vektor prediksi masuk ke span saja, yang mungkin tepat untuk hukum fisika yang melewati titik asal tetapi merupakan batasan tambahan bagi sebagian besar dataset.
Batasan yang mengubah perhitungan
Ortogonal tidak berarti nol. Residual tegak lurus terhadap kolom fitur, tetapi tidak harus tidak ada. Dalam contoh yang dihitung, residual pada adalah , meskipun seluruh vektor residual ortogonal terhadap kedua kolom. Sebuah garis dapat menjadi model yang tersedia paling dekat sekaligus meleset dari setiap observasi dengan jumlah tak nol.
Defisiensi rank mengubah keunikan koefisien. Jika kolom kedua menggandakan kolom intercept—misalnya semua sama—kolom-kolom tersebut tidak menyediakan dua arah independen. Matriks menjadi singular, dan np.linalg.solve akan menolak sistem normal itu. Subruang prediksi tetap ada, tetapi pembagian antara intercept dan kemiringan tidak unik. Pelajaran berikutnya akan mempelajari solver lain; menambahkan angka kecil sembarang ke diagonal akan mendefinisikan masalah regularisasi yang berbeda, bukan memperbaiki geometri asli.
Ill-conditioned tidak sama dengan singular. Kolom yang hampir duplikat dapat membuat sangat sensitif terhadap perubahan kecil pada data. Solver dapat mengembalikan koefisien, tetapi koefisien itu tetap tidak stabil. Ini adalah peringatan untuk memeriksa hubungan fitur dan perilaku residual, bukan alasan untuk percaya begitu saja pada angka yang tampak masuk akal.
Intercept tidak otomatis ada. Jika model memang sengaja tidak memiliki intercept, persamaan normal tetap memaksa residual ortogonal terhadap kolom fitur yang tersedia, tetapi tidak ada kolom berisi satu sehingga tidak ada alasan residual harus berjumlah nol. Mengubah kolom mengubah ruang proyeksi dan pertanyaan yang dijawab.
Karena itu, kuadrat terkecil lebih spesifik daripada “gambar garis terbaik”. Metode ini merupakan proyeksi ke himpunan prediksi yang dapat diekspresikan matriks desain, dengan galat kuadrat Euclidean sebagai jaraknya. Pelajaran regresi berikutnya dapat membangun geometri ini, tetapi tidak boleh diam-diam mengubahnya menjadi klaim bahwa setiap hubungan target linear atau setiap residual merupakan noise acak.
Uji pemahaman
Pertanyaan 1
Untuk m observasi dan satu fitur masukan dengan intercept, apa bentuk X, β, y, dan Xβ?
Tampilkan solusi langkah demi langkah
Matriks desain memiliki satu baris per observasi dan dua kolom: kolom intercept berisi satu dan kolom fitur. Jadi . Vektor koefisien berisi dan , sehingga . Vektor target memiliki satu entri per observasi, sehingga . Perkalian matriks kemudian menghasilkan
jadi adalah vektor prediksi berisi entri. Kedua parameter tersebut menggambarkan koordinat yang digunakan untuk membangun sebuah titik di ruang observasi berdimensi .
Pertanyaan 2
Untuk X = [[1, 0], [1, 1], [1, 2]] dan y = [1, 2, 2], hitung XᵀX dan Xᵀy.
Tampilkan solusi langkah demi langkah
Hitung hasil kali dalam antar kolom. Kolom pertama adalah dan kolom kedua adalah :
Sekarang korelasikan setiap kolom dengan :
Inilah matriks dan ruas kanan yang digunakan oleh persamaan normal.
Pertanyaan 3
Dengan menggunakan contoh yang dihitung dalam pelajaran, verifikasi dengan tangan bahwa r = [0.1, 0.2, −0.7, 0.4] ortogonal terhadap kedua kolom X.
Tampilkan solusi langkah demi langkah
Kolom pertama adalah vektor berisi satu. Hasil kali titiknya dengan adalah
Kolom kedua adalah . Hasil kali titiknya adalah
Kedua hasil kali titik bernilai nol, sehingga jika ditumpuk diperoleh . Residual juga ortogonal terhadap setiap kombinasi linear kedua kolom itu.
Pertanyaan 4
Mengapa Xᵀr = 0 berarti prediksi hasil pencocokan setidaknya sedekat y seperti prediksi Xβ lainnya?
Tampilkan solusi langkah demi langkah
Misalkan adalah koefisien hasil pencocokan dan adalah alternatif apa pun. Tulis ulang residual alternatif sebagai
Suku pertama adalah . Suku kedua berada di . Karena , tegak lurus terhadap suku kedua itu. Panjang kuadratnya terpisah menurut Pythagoras:
Suku tambahan tidak mungkin negatif, sehingga tidak ada prediksi lain di ruang kolom yang memiliki jarak kuadrat lebih kecil ke .
Pertanyaan 5
Seorang engineer berkata, ‘Pencocokan kuadrat terkecil memiliki residual yang semuanya nol karena residualnya ortogonal.’ Apa yang salah dari klaim ini?
Tampilkan solusi langkah demi langkah
Ortogonalitas berarti hasil kali titik bernilai nol; itu tidak berarti vektor residualnya sendiri nol. Dalam contoh pelajaran,
memiliki entri tak nol, tetapi hasil kali titiknya dengan kolom berisi satu dan kolom fitur sama-sama nol. Vektor nol hanya muncul ketika sudah berada di , artinya model garis yang tersedia dapat mereproduksi target secara tepat.
Pertanyaan 6
Apa yang berubah jika kolom intercept berisi satu dihapus dari X?
Tampilkan solusi langkah demi langkah
Tanpa kolom satu, model menjadi , yaitu garis yang dipaksa melalui titik asal. Ruang kolom menjadi , bukan span vektor konstan dan secara bersama-sama. Persamaan normal tetap meminta residual ortogonal terhadap kolom fitur yang tersisa, tetapi tidak ada kolom berisi satu yang memaksa
Karena itu residual tidak lagi harus berjumlah nol. Ini adalah batasan pemodelan, bukan perubahan format yang tidak berbahaya.
Pertanyaan 7
Mengapa np.linalg.solve dapat gagal ketika dua kolom X merupakan duplikat, padahal prediksi terdekat tetap ada?
Tampilkan solusi langkah demi langkah
Kolom duplikat tidak menciptakan dua arah fitur yang independen. Jika , kolom-kolom tersebut hanya merentangkan satu arah, dan bersifat singular. Matriks singular tidak memiliki solusi koefisien unik untuk persamaan normal, sehingga np.linalg.solve benar untuk menolak sistem itu dan tidak mengarang pembagian unik antara kedua koefisien.
Proyeksi ke ruang kolom satu dimensi tetap dapat unik. Yang ambigu adalah representasi koordinatnya: banyak pasangan dapat dijumlahkan menjadi prediksi konstan yang sama. Algoritme lain atau masalah yang diregularisasi secara eksplisit diperlukan untuk memilih salah satu representasi tersebut.
Pertanyaan 8
Sebuah model memiliki residual pelatihan yang sangat kecil setelah mencocokkan banyak fitur. Mengapa itu belum cukup menjadi bukti bahwa model akan memprediksi contoh AI baru dengan baik?
Tampilkan solusi langkah demi langkah
Kuadrat terkecil hanya menemukan vektor target terdekat di dalam span matriks desain pelatihan. Menambahkan fitur dapat membuat span itu cukup ekspresif untuk mendekati target yang diamati, sehingga galat pelatihan turun. Contoh baru mungkin memiliki nilai fitur atau perilaku target yang berbeda, dan targetnya tidak termasuk dalam proyeksi yang telah dihitung.
Untuk menilai generalisasi, simpan himpunan evaluasi terpisah atau gunakan desain cross-validation yang sesuai, lalu ukur prediksi pada contoh yang tidak digunakan untuk mencocokkan . Residual pelatihan tetap berguna untuk mendiagnosis pencocokan, tetapi bukan jaminan tentang observasi masa depan.
Kebiasaan praktisnya sederhana: tuliskan ruang prediksi sebelum mempercayai vektor koefisien. Kuadrat terkecil memberikan titik terdekat di ruang itu; residual memberi tahu dengan tepat bagian target yang diamati yang masih berada di luar span pilihan model.