Kursus Matematika untuk AI · Pelajaran 52 dari 180

Kuadrat Terkecil Adalah Masalah Proyeksi

Turunkan pencocokan garis kuadrat terkecil sebagai proyeksi ortogonal, verifikasi residual dengan NumPy, dan lihat mengapa menyelesaikan persamaan normal lebih baik daripada membentuk invers eksplisit.

Bagikan artikel ini

Bayangkan sebuah model hanya boleh menggambar satu garis lurus melalui sekumpulan observasi. Garis mana yang menghasilkan prediksi paling dekat, dan apa arti “paling dekat” ketika target disimpan sebagai vektor, bukan sebagai titik pada grafik?

Kuadrat terkecil biasa menjawab kedua pertanyaan itu dengan geometri. Metode ini memilih vektor prediksi di dalam ruang kolom matriks desain yang paling dekat dengan vektor target. Selisih antara kedua vektor itu adalah residual, dan residual tegak lurus terhadap setiap arah fitur yang digunakan oleh pencocokan.

Di akhir pelajaran ini, Anda akan dapat menuliskan pencocokan garis sebagai masalah matriks, menurunkan persamaan normal dari ortogonalitas residual, menghitung pencocokan kecil dengan tangan, memverifikasinya dengan NumPy, dan mengenali kapan perhitungannya dibatasi oleh rank atau pilihan fitur model.

Capaian pembelajaran: Menurunkan geometri persamaan normal tanpa mengandalkan invers eksplisit.

Pelajaran ini menghubungkan Pelajaran 025: Penyelesaian Numerik Tanpa Invers Eksplisit, saat sistem linear diperlakukan sebagai masalah untuk solver dan bukan sebagai masalah invers matriks, dengan Pelajaran 050: Proyeksi Menemukan Titik Terdekat dan Pelajaran 051: Matriks Proyeksi Mentransformasi Seluruh Dataset. Bagian 3.8 dari buku resmi Mathematics for Machine Learning menjadi landasan kurikulumnya. Data, aritmetika, visual, lab NumPy, hubungan dengan AI, dan penilaian di sini bersifat orisinal.

Pencocokan garis menjadi subruang vektor prediksi

Mulailah dengan mm observasi. Observasi ke-ii memiliki satu fitur masukan xix_i dan target numerik yiy_i. Garis dengan intercept memprediksi

y^i=β0+β1xi,\hat y_i=\beta_0+\beta_1x_i,

dengan β0\beta_0 sebagai intercept dan β1\beta_1 sebagai kemiringan. Tanda topi pada y^i\hat y_i berarti “prediksi”, bukan target terukur yang baru.

Untuk menampilkan geometrinya, masukkan observasi ke dalam matriks desain:

X=[1x11x2⋮⋮1xm]∈Rm×2.X= \begin{bmatrix} 1 & x_1\\ 1 & x_2\\ \vdots & \vdots\\ 1 & x_m \end{bmatrix} \in\mathbb{R}^{m\times 2}. β=[β0β1]∈R2.\beta=\begin{bmatrix}\beta_0\\\beta_1\end{bmatrix} \in\mathbb{R}^{2}. y=[y1y2⋮ym]∈Rm.y=\begin{bmatrix}y_1\\y_2\\\vdots\\y_m\end{bmatrix} \in\mathbb{R}^{m}.

Kolom pertama XX adalah kolom berisi angka satu. Kolom ini memberi model offset bebas; tanpa kolom tersebut, garis akan dipaksa melewati titik asal. Perkalian matriks menghasilkan seluruh vektor prediksi dalam satu operasi:

y^=Xβ=β0[11⋮1]+β1[x1x2⋮xm].\hat y=X\beta=\beta_0 \begin{bmatrix}1\\1\\\vdots\\1\end{bmatrix} +\beta_1 \begin{bmatrix}x_1\\x_2\\\vdots\\x_m\end{bmatrix}.

Jadi, setiap prediksi garis yang mungkin berada di dalam span dua kolom XX. Span itu adalah subruang dari Rm\mathbb{R}^{m}, yaitu ruang observasi. Koordinat sebuah titik di ruang ini berhubungan dengan observasi, bukan dengan dua parameter model.

Ini adalah pernyataan tentang geometri Euclidean berdimensi hingga. Pernyataan ini tidak mengasumsikan bahwa residual berdistribusi Gaussian, saling independen, atau bahkan merupakan “noise”. Asumsi tersebut dapat penting dalam analisis statistik, tetapi hasil proyeksi berasal dari jarak galat kuadrat dan kolom fitur yang dipilih.

Residual tegak lurus menghasilkan persamaan normal

Jika y^\hat y adalah titik terdekat di col⁡(X)\operatorname{col}(X), residual r=y−y^r=y-\hat y harus tegak lurus terhadap setiap arah di subruang itu. Secara khusus, residual harus tegak lurus terhadap setiap kolom XX. Dengan menuliskan semua hasil kali titik tersebut bersama-sama, kita memperoleh

XTr=0.X^{\mathsf T}r=0.

Substitusikan r=y−Xβ^r=y-X\hat\beta:

XT(y−Xβ^)=0XTy−XTXβ^=0XTXβ^=XTy.\begin{aligned} X^{\mathsf T}(y-X\hat\beta)&=0\\ X^{\mathsf T}y-X^{\mathsf T}X\hat\beta&=0\\ \boxed{X^{\mathsf T}X\hat\beta=X^{\mathsf T}y}.& \end{aligned}

Inilah persamaan normal. Sisi kiri adalah matriks 2×22\times2 yang dikalikan dengan vektor koefisien berisi dua entri, sedangkan sisi kanan adalah vektor berisi dua entri. Ini bukan mantra statistik; ini adalah bentuk aljabar dari kondisi sudut siku-siku.

Mengapa ortogonalitas menghasilkan titik terdekat, bukan sekadar titik yang kebetulan lulus uji hasil kali titik? Ambil sembarang vektor koefisien lain β\beta dan bandingkan prediksinya dengan y^\hat y:

y−Xβ=(y−Xβ^)⏟r+X(β^−β)⏟sebuah arah di col⁡(X).y-X\beta =\underbrace{(y-X\hat\beta)}_{r} +\underbrace{X(\hat\beta-\beta)}_{\text{sebuah arah di }\operatorname{col}(X)}.

Suku pertama tegak lurus terhadap suku kedua karena XTr=0X^{\mathsf T}r=0. Teorema Pythagoras kemudian memberikan

∥y−Xβ∥22=∥r∥22+∥X(β^−β)∥22≥∥r∥22.\lVert y-X\beta\rVert_2^2 =\lVert r\rVert_2^2 +\lVert X(\hat\beta-\beta)\rVert_2^2 \geq\lVert r\rVert_2^2.

Prediksi lain di ruang kolom yang sama tidak dapat mengalahkan prediksi hasil pencocokan. Jika kedua kolom XX bebas linear, koefisiennya juga unik. Jika keduanya bergantung, prediksi hasil proyeksi tetap dapat terdefinisi dengan baik meskipun beberapa vektor koefisien menggambarkannya.

Pencocokan garis empat observasi, dihitung dengan tangan

Gunakan empat observasi dengan satu fitur:

x=[0123],y=[1224].x=\begin{bmatrix}0\\1\\2\\3\end{bmatrix}, \qquad y=\begin{bmatrix}1\\2\\2\\4\end{bmatrix}.

Titik-titik ini tidak tepat berada pada satu garis, sehingga geometri residual terlihat jelas. Dengan kolom intercept disertakan,

X=[10111213],X∈R4×2.X= \begin{bmatrix} 1&0\\ 1&1\\ 1&2\\ 1&3 \end{bmatrix}, \qquad X\in\mathbb{R}^{4\times2}.

Pemeriksaan ortogonalitas pertama memiliki interpretasi yang berguna: karena model ini memuat intercept, jumlah residual sama dengan nol. Pemeriksaan kedua berarti residual tidak lagi memiliki keselarasan linear dengan nilai fitur. Tidak satu pun pernyataan itu berarti setiap residual kecil atau bahwa garis akan menggeneralisasi ke masukan baru.

Vektor target diuraikan oleh pencocokan garisTampilan komponen membandingkan setiap target yang diamati dengan nilainya yang dicocokkan. Skema ruang observasi menunjukkan target sebagai jumlah prediksi di subruang desain dan residual ortogonal.

Tampilan koordinat demi koordinat

Target yang diamati, prediksi hasil pencocokan, dan jarak residual Empat nilai target dihubungkan oleh garis biru dan empat nilai hasil pencocokan oleh garis hijau kebiruan. Segmen putus-putus berwarna amber menghubungkan setiap prediksi dengan targetnya dan menunjukkan residual observasi tersebut.-101234i = 0i = 1i = 2i = 3indeks observasi inilai
  • target y
  • prediksi ŷ
  • residual r = y − ŷ

Dekomposisi ruang observasi

Target sama dengan prediksi hasil pencocokan ditambah residual ortogonal Diagram vektor skematis menunjukkan panah prediksi hasil pencocokan sepanjang arah subruang desain horizontal, panah residual naik secara vertikal dari ujungnya, dan panah target dari titik asal ke titik akhir. Tanda sudut siku-siku mengidentifikasi residual sebagai tegak lurus terhadap subruang hasil pencocokan.ŷrysudut siku-siku
Empat koordinat yang digunakan dalam dekomposisi
ixᵢyᵢŷᵢrᵢ
001.00.9+0.1
112.01.8+0.2
222.02.7-0.7
334.03.6+0.4

Ortogonalitas: Xᵀr = [0, 0]

Panjang residual kuadrat: ‖r‖₂² = 0.70

Panel kanan menggunakan koordinat ortogonal skematis untuk vektor dalam ℝ⁴. Tabel mempertahankan keempat komponen persis, sehingga visual tidak meminta gambar dua dimensi untuk menggantikan seluruh ruang observasi.

Proyeksi yang sama dalam NumPy yang dapat dijalankan

Perhitungan dengan tangan dapat diterjemahkan langsung menjadi program NumPy kecil. Dengan satu sampel per baris, XX berbentuk (m,2)(m,2) dan β\beta berbentuk (2,)(2,), sehingga X @ beta berbentuk $(m,). Dokumentasi [matmul`](https://numpy.org/doc/stable/reference/generated/numpy.matmul.html) NumPy menjelaskan perkalian matriks yang memperhatikan bentuk ini.

import numpy as np

x = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])

# A column of ones gives the line an intercept.
X = np.column_stack((np.ones_like(x), x))
normal_matrix = X.T @ X
normal_rhs = X.T @ y

# Solve (X.T @ X) @ beta = X.T @ y without forming an inverse.
beta = np.linalg.solve(normal_matrix, normal_rhs)
y_hat = X @ beta
residual = y - y_hat

print("X.T @ X =\n", normal_matrix)
print("X.T @ y =", normal_rhs)
print("beta =", beta)
print("y_hat =", y_hat)
print("residual =", residual)
print("X.T @ residual =", X.T @ residual)
print("squared residual length =", np.linalg.norm(residual) ** 2)

assert np.allclose(X.T @ residual, np.zeros(X.shape[1]))

Hasilnya adalah:

X.T @ X =
 [[ 4.  6.]
  [ 6. 14.]]
X.T @ y = [ 9. 18.]
beta = [0.9 0.9]
y_hat = [0.9 1.8 2.7 3.6]
residual = [ 0.1  0.2 -0.7  0.4]
X.T @ residual = [0. 0.]
squared residual length = 0.7

numpy.linalg.solve menyelesaikan sistem linear persegi untuk vektor koefisien. Dalam contoh ini, XTXX^{\mathsf T}X berbentuk persegi dan nonsingular, sehingga cocok sebagai contoh pembelajaran. assert menggunakan numpy.allclose karena aritmetika floating-point dapat meninggalkan nilai kecil ketika matematika eksaknya menyatakan nol. Ukuran galat memakai numpy.linalg.norm, yang menghitung panjang Euclidean saat menggunakan norm vektor bawaannya.

Mengapa tidak mengalikan dengan invers eksplisit?

Untuk contoh kecil ini, diagnostik berikut menghasilkan vektor koefisien yang sama hingga toleransi floating-point:

beta_via_inverse = np.linalg.inv(normal_matrix) @ normal_rhs
print(np.allclose(beta, beta_via_inverse))  # True for this toy system

Kesesuaian itu tidak menjadikan invers sebagai implementasi pilihan. Invers melakukan lebih banyak pekerjaan daripada menyelesaikan satu ruas kanan, dan membentuknya dapat membuka perhitungan pada galat numerik yang sebenarnya dapat dihindari. Ini adalah pelajaran implementasi yang sama seperti Pelajaran 025: nyatakan sistem yang Anda perlukan dan gunakan solver yang dirancang untuk sistem itu.

Apa yang dikatakan geometri tentang model AI

Dalam baseline regresi kecil, kolom-kolom XX adalah arah fitur yang boleh digabungkan oleh model. Vektor target yy berisi satu hasil numerik yang diinginkan untuk setiap contoh pelatihan. Kuadrat terkecil menemukan vektor hasil yang paling dekat dan dapat diekspresikan oleh arah fitur tersebut. Residual adalah bagian dari target pelatihan yang dibiarkan di luar span oleh kumpulan fitur ini.

Sudut pandang ini membuat dua kebiasaan evaluasi menjadi konkret:

  • Residual pelatihan yang kecil berarti ruang fitur yang dipilih dapat merekonstruksi target yang diamati dengan dekat di bawah galat kuadrat. Itu sendiri tidak mengukur kinerja pada contoh baru.
  • Residual yang besar dapat berarti hasil yang bising, fitur yang hilang, pencilan, atau garis yang terlalu terbatas untuk hubungan tersebut. Geometri mengidentifikasi hal yang tidak dapat diekspresikan model saat ini; geometri tidak mengidentifikasi penyebabnya.

Intercept juga mengodekan pilihan pemodelan. Dengan kolom berisi satu, pencocokan dapat bergeser secara vertikal dan jumlah residual sama dengan nol. Menghapus kolom itu memaksa vektor prediksi masuk ke span xx saja, yang mungkin tepat untuk hukum fisika yang melewati titik asal tetapi merupakan batasan tambahan bagi sebagian besar dataset.

Batasan yang mengubah perhitungan

Ortogonal tidak berarti nol. Residual tegak lurus terhadap kolom fitur, tetapi tidak harus tidak ada. Dalam contoh yang dihitung, residual pada x=2x=2 adalah −0.7-0.7, meskipun seluruh vektor residual ortogonal terhadap kedua kolom. Sebuah garis dapat menjadi model yang tersedia paling dekat sekaligus meleset dari setiap observasi dengan jumlah tak nol.

Defisiensi rank mengubah keunikan koefisien. Jika kolom kedua XX menggandakan kolom intercept—misalnya semua xix_i sama—kolom-kolom tersebut tidak menyediakan dua arah independen. Matriks XTXX^{\mathsf T}X menjadi singular, dan np.linalg.solve akan menolak sistem normal itu. Subruang prediksi tetap ada, tetapi pembagian antara intercept dan kemiringan tidak unik. Pelajaran berikutnya akan mempelajari solver lain; menambahkan angka kecil sembarang ke diagonal akan mendefinisikan masalah regularisasi yang berbeda, bukan memperbaiki geometri asli.

Ill-conditioned tidak sama dengan singular. Kolom yang hampir duplikat dapat membuat XTXX^{\mathsf T}X sangat sensitif terhadap perubahan kecil pada data. Solver dapat mengembalikan koefisien, tetapi koefisien itu tetap tidak stabil. Ini adalah peringatan untuk memeriksa hubungan fitur dan perilaku residual, bukan alasan untuk percaya begitu saja pada angka yang tampak masuk akal.

Intercept tidak otomatis ada. Jika model memang sengaja tidak memiliki intercept, persamaan normal tetap memaksa residual ortogonal terhadap kolom fitur yang tersedia, tetapi tidak ada kolom berisi satu sehingga tidak ada alasan residual harus berjumlah nol. Mengubah kolom mengubah ruang proyeksi dan pertanyaan yang dijawab.

Karena itu, kuadrat terkecil lebih spesifik daripada “gambar garis terbaik”. Metode ini merupakan proyeksi ke himpunan prediksi yang dapat diekspresikan matriks desain, dengan galat kuadrat Euclidean sebagai jaraknya. Pelajaran regresi berikutnya dapat membangun geometri ini, tetapi tidak boleh diam-diam mengubahnya menjadi klaim bahwa setiap hubungan target linear atau setiap residual merupakan noise acak.

Uji pemahaman

Pertanyaan 1

Untuk m observasi dan satu fitur masukan dengan intercept, apa bentuk X, β, y, dan Xβ?

Tampilkan solusi langkah demi langkah

Matriks desain memiliki satu baris per observasi dan dua kolom: kolom intercept berisi satu dan kolom fitur. Jadi X∈Rm×2X\in\mathbb{R}^{m\times2}. Vektor koefisien berisi β0\beta_0 dan β1\beta_1, sehingga β∈R2\beta\in\mathbb{R}^{2}. Vektor target memiliki satu entri per observasi, sehingga y∈Rmy\in\mathbb{R}^{m}. Perkalian matriks kemudian menghasilkan

(m×2)(2×1)=m×1,(m\times2)(2\times1)=m\times1,

jadi XβX\beta adalah vektor prediksi berisi mm entri. Kedua parameter tersebut menggambarkan koordinat yang digunakan untuk membangun sebuah titik di ruang observasi berdimensi mm.

Pertanyaan 2

Untuk X = [[1, 0], [1, 1], [1, 2]] dan y = [1, 2, 2], hitung XᵀX dan Xᵀy.

Tampilkan solusi langkah demi langkah

Hitung hasil kali dalam antar kolom. Kolom pertama adalah [1,1,1]T[1,1,1]^{\mathsf T} dan kolom kedua adalah [0,1,2]T[0,1,2]^{\mathsf T}:

XTX=[12+12+121⋅0+1⋅1+1⋅20⋅1+1⋅1+2⋅102+12+22]=[3335].X^{\mathsf T}X =\begin{bmatrix} 1^2+1^2+1^2 & 1\cdot0+1\cdot1+1\cdot2\\ 0\cdot1+1\cdot1+2\cdot1 & 0^2+1^2+2^2 \end{bmatrix} =\begin{bmatrix}3&3\\3&5\end{bmatrix}.

Sekarang korelasikan setiap kolom dengan yy:

XTy=[1+2+20⋅1+1⋅2+2⋅2]=[56].X^{\mathsf T}y =\begin{bmatrix} 1+2+2\\0\cdot1+1\cdot2+2\cdot2 \end{bmatrix} =\begin{bmatrix}5\\6\end{bmatrix}.

Inilah matriks dan ruas kanan yang digunakan oleh persamaan normal.

Pertanyaan 3

Dengan menggunakan contoh yang dihitung dalam pelajaran, verifikasi dengan tangan bahwa r = [0.1, 0.2, −0.7, 0.4] ortogonal terhadap kedua kolom X.

Tampilkan solusi langkah demi langkah

Kolom pertama adalah vektor berisi satu. Hasil kali titiknya dengan rr adalah

1(0.1)+1(0.2)+1(−0.7)+1(0.4)=0.1(0.1)+1(0.2)+1(-0.7)+1(0.4)=0.

Kolom kedua adalah [0,1,2,3]T[0,1,2,3]^{\mathsf T}. Hasil kali titiknya adalah

0(0.1)+1(0.2)+2(−0.7)+3(0.4)=0.2−1.4+1.2=0.0(0.1)+1(0.2)+2(-0.7)+3(0.4)=0.2-1.4+1.2=0.

Kedua hasil kali titik bernilai nol, sehingga jika ditumpuk diperoleh XTr=[0,0]TX^{\mathsf T}r=[0,0]^{\mathsf T}. Residual juga ortogonal terhadap setiap kombinasi linear kedua kolom itu.

Pertanyaan 4

Mengapa Xᵀr = 0 berarti prediksi hasil pencocokan setidaknya sedekat y seperti prediksi Xβ lainnya?

Tampilkan solusi langkah demi langkah

Misalkan β^\hat\beta adalah koefisien hasil pencocokan dan β\beta adalah alternatif apa pun. Tulis ulang residual alternatif sebagai

y−Xβ=(y−Xβ^)+X(β^−β)=r+X(β^−β).y-X\beta=(y-X\hat\beta)+X(\hat\beta-\beta)=r+X(\hat\beta-\beta).

Suku pertama adalah rr. Suku kedua berada di col⁡(X)\operatorname{col}(X). Karena XTr=0X^{\mathsf T}r=0, rr tegak lurus terhadap suku kedua itu. Panjang kuadratnya terpisah menurut Pythagoras:

∥y−Xβ∥22=∥r∥22+∥X(β^−β)∥22≥∥r∥22.\lVert y-X\beta\rVert_2^2 =\lVert r\rVert_2^2+\lVert X(\hat\beta-\beta)\rVert_2^2 \geq\lVert r\rVert_2^2.

Suku tambahan tidak mungkin negatif, sehingga tidak ada prediksi lain di ruang kolom yang memiliki jarak kuadrat lebih kecil ke yy.

Pertanyaan 5

Seorang engineer berkata, ‘Pencocokan kuadrat terkecil memiliki residual yang semuanya nol karena residualnya ortogonal.’ Apa yang salah dari klaim ini?

Tampilkan solusi langkah demi langkah

Ortogonalitas berarti hasil kali titik bernilai nol; itu tidak berarti vektor residualnya sendiri nol. Dalam contoh pelajaran,

r=[0.1,0.2,−0.7,0.4]r=[0.1,0.2,-0.7,0.4]

memiliki entri tak nol, tetapi hasil kali titiknya dengan kolom berisi satu dan kolom fitur sama-sama nol. Vektor nol hanya muncul ketika yy sudah berada di col⁡(X)\operatorname{col}(X), artinya model garis yang tersedia dapat mereproduksi target secara tepat.

Pertanyaan 6

Apa yang berubah jika kolom intercept berisi satu dihapus dari X?

Tampilkan solusi langkah demi langkah

Tanpa kolom satu, model menjadi y^i=β1xi\hat y_i=\beta_1x_i, yaitu garis yang dipaksa melalui titik asal. Ruang kolom menjadi span⁡{x}\operatorname{span}\{x\}, bukan span vektor konstan dan xx secara bersama-sama. Persamaan normal tetap meminta residual ortogonal terhadap kolom fitur yang tersisa, tetapi tidak ada kolom berisi satu yang memaksa

1Tr=0.\mathbf{1}^{\mathsf T}r=0.

Karena itu residual tidak lagi harus berjumlah nol. Ini adalah batasan pemodelan, bukan perubahan format yang tidak berbahaya.

Pertanyaan 7

Mengapa np.linalg.solve dapat gagal ketika dua kolom X merupakan duplikat, padahal prediksi terdekat tetap ada?

Tampilkan solusi langkah demi langkah

Kolom duplikat tidak menciptakan dua arah fitur yang independen. Jika X=[1 1]X=[\mathbf{1}\ \mathbf{1}], kolom-kolom tersebut hanya merentangkan satu arah, dan XTXX^{\mathsf T}X bersifat singular. Matriks singular tidak memiliki solusi koefisien unik untuk persamaan normal, sehingga np.linalg.solve benar untuk menolak sistem itu dan tidak mengarang pembagian unik antara kedua koefisien.

Proyeksi yy ke ruang kolom satu dimensi tetap dapat unik. Yang ambigu adalah representasi koordinatnya: banyak pasangan (β0,β1)(\beta_0,\beta_1) dapat dijumlahkan menjadi prediksi konstan yang sama. Algoritme lain atau masalah yang diregularisasi secara eksplisit diperlukan untuk memilih salah satu representasi tersebut.

Pertanyaan 8

Sebuah model memiliki residual pelatihan yang sangat kecil setelah mencocokkan banyak fitur. Mengapa itu belum cukup menjadi bukti bahwa model akan memprediksi contoh AI baru dengan baik?

Tampilkan solusi langkah demi langkah

Kuadrat terkecil hanya menemukan vektor target terdekat di dalam span matriks desain pelatihan. Menambahkan fitur dapat membuat span itu cukup ekspresif untuk mendekati target yang diamati, sehingga galat pelatihan turun. Contoh baru mungkin memiliki nilai fitur atau perilaku target yang berbeda, dan targetnya tidak termasuk dalam proyeksi yang telah dihitung.

Untuk menilai generalisasi, simpan himpunan evaluasi terpisah atau gunakan desain cross-validation yang sesuai, lalu ukur prediksi pada contoh yang tidak digunakan untuk mencocokkan β^\hat\beta. Residual pelatihan tetap berguna untuk mendiagnosis pencocokan, tetapi bukan jaminan tentang observasi masa depan.

Kebiasaan praktisnya sederhana: tuliskan ruang prediksi sebelum mempercayai vektor koefisien. Kuadrat terkecil memberikan titik terdekat di ruang itu; residual memberi tahu dengan tepat bagian target yang diamati yang masih berada di luar span pilihan model.

Sumber

  1. Mathematics for Machine Learning official PDF, Section 3.8
  2. NumPy documentation: numpy.linalg.solve
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.allclose
  5. NumPy documentation: numpy.linalg.norm