Kursus Matematika untuk AI · Pelajaran 48 dari 180
Komplemen Ortogonal Menangkap Bagian yang Tersisa
Jelaskan arah yang ortogonal terhadap subruang, verifikasi normal bidang, dan pisahkan representasi AI menjadi sinyal yang dijelaskan serta galat residual dengan NumPy.
Sebuah model dapat menjelaskan sebuah pengamatan dengan beberapa arah yang dipelajarinya, tetapi tetap menyisakan sesuatu. Bagaimana model itu dapat mengetahui apakah sisa tersebut merupakan arah yang benar-benar baru, bukan salinan tersembunyi dari sesuatu yang sudah dijelaskannya?
Komplemen ortogonal memberikan jawaban yang tepat. Komplemen ini mengumpulkan setiap arah yang memiliki hasil kali dalam nol dengan seluruh subruang, bukan hanya dengan satu vektor yang dipilih. Untuk bidang fitur dalam tiga dimensi, komplemennya adalah garis arah normal. Garis itu menjadi tempat yang jelas bagi komponen residual: komponen tersebut tidak memiliki tumpang tindih linear dengan bidang, tetapi tetap dapat memiliki ukuran tak nol dan informasi yang berguna.
Di akhir pelajaran ini, Anda akan mampu mendeskripsikan komplemen ortogonal, memeriksa dimensi dan basisnya, menafsirkan vektor normal sebuah bidang, serta menggunakan basis ortonormal di NumPy untuk memisahkan komponen yang dijelaskan dari residual.
Capaian pembelajaran: Mendeskripsikan arah yang ortogonal terhadap sebuah subruang.
Pelajaran ini dibangun di atas Pelajaran 045: Ortogonalitas Berarti Tidak Ada Tumpang Tindih Linear, yang menjadikan hasil kali dalam nol sebagai uji geometris, dan Pelajaran 036: Kernel dan Image Menjelaskan Kehilangan dan Jangkauan, yang menghubungkan subruang dengan informasi yang dapat hilang atau dicapai oleh pemetaan linear. Bagian 3.6 dari buku resmi Mathematics for Machine Learning menjadi rujukan kurikulum. Definisi, angka, visual, implementasi, hubungan dengan AI, dan penilaian di sini adalah karya asli.
Sebuah subruang memiliki sisa yang tegak lurus
Misalkan adalah ruang vektor Euclidean berdimensi . Misalkan adalah subruang berdimensi dari . Subruang adalah kumpulan vektor yang tertutup terhadap penjumlahan dan perkalian skalar; subruang memuat vektor nol dan semua kombinasi linear dari arah-arah basisnya.
Tiga fakta membuat komplemen berguna:
-
Jika berdimensi di dalam ruang berdimensi , maka . Setiap arah independen di dalam memberikan satu kendala ortogonalitas.
-
dan hanya beririsan pada vektor nol: . Vektor tak nol tidak mungkin sekaligus berada di dalam subruang dan tegak lurus terhadap setiap vektor dalam subruang yang sama, karena hasil kali dalamnya dengan dirinya sendiri akan tak nol.
-
Dalam geometri Euclidean standar, setiap memiliki satu dekomposisi
Suku pertama adalah bagian yang dapat dijelaskan oleh subruang. Suku kedua adalah sesuatu yang tidak dapat dijelaskan subruang melalui arah-arahnya sendiri.
Aturan dimensi adalah panduan menghitung, bukan jalan pintas untuk melewati definisi. Komplemen sebuah bidang di berdimensi satu, tetapi komplemen sebuah garis di adalah bidang berdimensi dua. “Komplemen ortogonal” tidak selalu berupa satu anak panah.
Sebuah bidang dan garis normalnya
Pertimbangkan bidang
Vektor sembarang dalam bidang ini adalah
Jadi bidang tersebut terdiri dari vektor yang memenuhi . Untuk mencari normal, cari yang ortogonal terhadap kedua vektor basis:
Dengan memilih , diperoleh , sehingga salah satu normalnya adalah
Setiap kelipatan skalar dari juga ortogonal terhadap kedua vektor basis. Karena berdimensi dan ruang ambien berdimensi , komplemennya berdimensi ; oleh karena itu
Diagram menggunakan bidang untuk dan anak panah untuk arah normalnya. Tabelnya merupakan alternatif numerik lengkap terhadap gambar: tabel mencatat kedua uji ortogonalitas dan kesimpulan dimensi tanpa bergantung pada warna, perspektif, atau JavaScript.
Visual geometri statis
Subruang berdimensi dua dan komplemen berdimensi satunya
Anak panah gelap merentangkan U. Anak panah jingga adalah n = (−1, −1, 1), arah normal yang hasil kali titiknya dengan kedua vektor basis bernilai nol.
| Vektor | Uji hasil kali titik | Interpretasi |
|---|---|---|
| b₁ = (1, 0, 1) | nᵀb₁ = −1 + 1 = 0 | Satu arah basis di U |
| b₂ = (0, 1, 1) | nᵀb₂ = −1 + 1 = 0 | Satu arah basis di U |
| n = (−1, −1, 1) | nᵀn = 1 + 1 + 1 = 3 | n merentangkan U⊥ |
| x = (2, 1, 4) | nᵀx = −2 − 1 + 4 = 1 | x memiliki komponen normal tak nol |
Bidang memuat setiap kombinasi linear dari b₁ dan b₂. Komplemen adalah seluruh garis normal, termasuk kedua arah dan vektor nol—bukan hanya satu anak panah yang digambar di sini.
Visual ini menggunakan gambar miring ruang tiga dimensi, sehingga sudut pada layar hanyalah representasi geometri. Aljabarlah yang membawa makna: normal tegak lurus terhadap setiap vektor di , karena setiap vektor di merupakan kombinasi linear dari dan .
Contoh kerja: membagi pengamatan menjadi sinyal yang dijelaskan dan residual
Normal adalah arah yang berguna, tetapi panjangnya bukan satuan. Untuk membaca koordinat dengan jelas, gunakan dahulu arah ortonormal dari pelajaran sebelumnya. Gram–Schmidt yang diterapkan pada menghasilkan basis ortonormal berikut untuk :
Normal satuannya adalah
Ketiga arah ini saling ortonormal, merentangkan , sedangkan merentangkan . Ambil pengamatan
Karena basisnya ortonormal, setiap koefisien merupakan satu hasil kali dalam.
Perhitungan ini mengubah “dijelaskan versus tersisa” menjadi pernyataan geometris. Kata dijelaskan berarti “direkonstruksi dari subruang yang dipilih”, bukan “semua informasi yang berguna”. Residual dapat memuat fitur lain, noise, pola nonlinier, atau sinyal yang seharusnya diperiksa oleh model berikutnya.
Mengapa dekomposisinya unik
Keunikan mengikuti fakta tentang irisan, bukan pilihan koordinat yang kebetulan. Misalkan vektor yang sama memiliki dua dekomposisi:
Susun ulang:
Sisi kiri berada di karena subruang tertutup terhadap pengurangan. Sisi kanan juga berada di untuk alasan yang sama. Maka vektor bersama ini berada di , yang hanya memuat . Jadi dan .
Bukti yang sama menjelaskan mengapa kedua bagian tidak menghitung arah yang sama dua kali. Vektor tak nol tidak mungkin sekaligus menjadi arah yang dijelaskan di dan arah residual di .
NumPy menjaga dimensi tetap terlihat
Simpan vektor basis ortonormal sebagai kolom matriks . Pengamatan memiliki shape , vektor koordinat memiliki shape , dan vektor yang dijelaskan hasil rekonstruksi kembali ke shape .
Kode berikut menggunakan numpy.asarray untuk menjadikan input sebagai array, operator perkalian matriks yang didokumentasikan oleh numpy.matmul untuk hasil kali matriks, numpy.linalg.norm untuk ukuran residual Euclidean, dan numpy.allclose untuk pemeriksaan dengan toleransi. atol eksplisit dan
rtol=0 membuat perbandingan nol yang dimaksud terlihat; NumPy
memperingatkan bahwa toleransi absolut bawaan mungkin tidak tepat di dekat nol.
import numpy as np
def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
x = np.asarray(x, dtype=float)
Q = np.asarray(Q, dtype=float)
if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
raise ValueError('x must be (D,) and Q must be (D, M)')
gram = Q.T @ Q
if not np.allclose(
gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
):
raise ValueError('Q columns must be orthonormal')
coordinates = Q.T @ x
explained = Q @ coordinates
residual = x - explained
return coordinates, explained, residual
Q = np.array([
[1 / np.sqrt(2), -1 / np.sqrt(6)],
[0.0, 2 / np.sqrt(6)],
[1 / np.sqrt(2), 1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])
coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)
print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))
Output yang telah diverifikasi adalah:
[[1. 0.]
[0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333 0.333333]
0.57735
True
True
Matriks pertama adalah matriks Gram dari kolom-kolom tersebut. Bentuk identitasnya mengonfirmasi panjang satu dan ortogonalitas berpasangan antarkolom. Dua pemeriksaan terakhir menyatakan bahwa residual ortogonal terhadap kedua kolom dan berada pada arah normal satuan. Fungsi ini tidak mencari titik terdekat atau membuktikan pencocokan kuadrat terkecil; fungsi ini menggunakan basis ortonormal yang telah diverifikasi untuk menampilkan dua blok koordinat. Dengan begitu, pelajaran ini tetap berfokus pada komplemen. Pelajaran tentang proyeksi berikutnya dapat menjelaskan makna titik terdekat.
Residual dipisahkan, bukan dihapus
Dalam sebuah representasi AI, misalkan adalah subruang arah fitur yang dipilih oleh encoder linear, subruang utama, atau keluarga fitur yang dirancang secara manual. Untuk input , dekomposisi memberikan:
- : komponen yang dapat diekspresikan oleh arah-arah yang dipilih;
- : komponen yang tidak terlihat oleh setiap skor linear yang hanya melihat sepanjang ;
- : ukuran bagian yang tersisa di bawah geometri ini.
Hal ini dapat meningkatkan interpretabilitas. Jika pembacaan linear hanya dibangun dari kolom-kolom , skornya tidak dapat memperoleh kontribusi dari melalui hasil kali dalam dengan kolom-kolom tersebut, karena . Ini adalah klaim tentang subruang, hasil kali dalam, dan representasi ini—bukan klaim bahwa residual tidak berguna. Lapisan nonlinier, metrik yang berbeda, atau dataset yang berbeda dapat mengungkap hubungan yang tidak ditangkap oleh pemisahan ortogonal saat ini.
Ada dua kasus batas yang perlu diingat:
- Jika , maka dan . Seluruh ruang dijelaskan, sehingga satu-satunya residual adalah nol.
- Jika , maka dan . Tidak ada yang dijelaskan oleh subruang nol, sehingga setiap vektor menjadi residual.
Aturan dimensi juga mengasumsikan hasil kali titik standar. Jika sebuah sistem mendefinisikan hasil kali dalam berbobot, “ortogonal” berubah mengikuti metrik tersebut; normal dengan hasil kali titik biasa di atas tidak otomatis menjadi arah residual yang benar.
Pelajaran berikutnya memperluas pemisahan yang sama ke geometri titik terdekat pada sebuah subruang. Untuk sekarang, uji yang perlu diingat lebih sederhana: sebutkan ruang ambien, tuliskan basis untuk , periksa hasil kali dalam nol terhadap basis tersebut, dan perlakukan komplemen sebagai subruang semua arah residual yang diperbolehkan.
Periksa pemahaman Anda
Question 1
Misalkan U adalah subruang berdimensi M di R^D. Apa itu U⊥, dan berapa dimensinya?
Show the step-by-step solution
Berdasarkan definisi, memuat setiap vektor yang hasil kali dalamnya dengan setiap bernilai nol. Cukup menerapkan uji pada basis berisi vektor di karena hasil kali dalam terdistribusi pada kombinasi linear. Kondisi ortogonalitas yang independen itu menyisakan arah independen, sehingga dalam geometri Euclidean biasa.
Question 2
Untuk U = span{(1, 0, 1), (0, 1, 1)}, uji n = (−1, −1, 1) dan nyatakan U⊥.
Show the step-by-step solution
Uji vektor basis pertama: . Uji vektor kedua: . Karena setiap vektor dalam adalah kombinasi linear dari kedua vektor basis itu, ortogonal terhadap seluruh . Kedua vektor basis independen, sehingga di dan . Jadi .
Question 3
Dengan bidang yang sama, tentukan apakah y = (2, 1, 3) memiliki komponen residual di U⊥. Tunjukkan ujinya.
Show the step-by-step solution
Bidang tersebut memenuhi . Untuk , , sehingga sudah berada di . Uji normal mengatakan hal yang sama: . Karena adalah garis normal dan koordinat normalnya nol, komponen residualnya adalah vektor nol.
Question 4
Untuk x = (2, 1, 4), gunakan dekomposisi pada contoh kerja untuk memverifikasi bahwa residual ortogonal terhadap U tetapi tidak nol.
Show the step-by-step solution
Dekomposisi memberikan . Nilainya tidak nol karena norm Euclidean-nya adalah . Periksa kedua arah basis: dan . Jadi residual tersebut adalah arah tak nol yang nyata di , bukan ketiadaan informasi.
Question 5
Mengapa memeriksa vektor kandidat terhadap hanya satu vektor di U tidak cukup ketika U adalah bidang?
Show the step-by-step solution
Ortogonalitas terhadap satu vektor hanya menghilangkan satu tumpang tindih linear. Sebuah vektor dapat tegak lurus terhadap tetapi tetap memiliki hasil kali titik tak nol dengan , sehingga vektor itu tidak tegak lurus terhadap setiap kombinasi di bidang tersebut. Agar termasuk dalam , kandidat harus lulus uji hasil kali titik nol untuk setiap arah basis . Jika uji basis itu lulus, sifat distributif mencakup setiap kombinasi linear.
Question 6
Dalam kode NumPy, Q berbentuk (D, M). Apa bentuk Q.T @ x, Q @ (Q.T @ x), dan x − Q @ (Q.T @ x)?
Show the step-by-step solution
berbentuk dan berbentuk . Transposenya berbentuk , sehingga berbentuk : satu koefisien untuk setiap arah basis. Mengalikan dengan vektor koefisien itu mengembalikan bentuk , yaitu komponen yang dijelaskan. Mengurangkan dua vektor berbentuk menghasilkan residual berbentuk di ruang ambien semula.
Question 7
Apa yang diverifikasi oleh pemeriksaan allclose pada Q.T @ Q, dan mengapa perbandingan == eksak buruk untuk pengujian bilangan floating-point?
Show the step-by-step solution
Untuk vektor basis yang disimpan sebagai kolom, adalah
matriks Gram-nya. Hasil identitas berarti setiap kolom memiliki norm satu
dan kolom yang berbeda memiliki hasil kali dalam nol, sehingga kolom-kolom
itu ortonormal. Akar kuadrat dan perkalian floating-point dapat menyisakan
nilai kecil seperti ketika aritmetika eksak menghasilkan
nol. np.allclose membandingkan dalam toleransi eksplisit;
toleransinya tetap perlu dipilih sesuai skala dan presisi data, bukan
diterima secara buta.
Question 8
Sebuah model memberi label tidak berguna pada setiap residual di U⊥. Bagian mana dari kesimpulan itu yang mengikuti matematika, dan bagian mana yang melampaui matematika?
Show the step-by-step solution
Bagian yang sah bersifat sempit: residual memiliki hasil kali dalam nol dengan setiap arah di , sehingga pembacaan linear yang hanya memberi skor pada arah tersebut tidak dapat memperoleh kontribusi dari melalui hasil kali dalam yang sama. Klaim bahwa tidak berguna melampaui yang didukung matematika. Residual dapat memiliki norm tak nol, mengodekan arah linear lain, membawa struktur nonlinier, atau menjadi berguna bagi lapisan berikutnya atau metrik yang berbeda.