Kursus Matematika untuk AI · Pelajaran 47 dari 180
Gram–Schmidt Membangun Arah Ortogonal
Jalankan Gram–Schmidt dengan tangan dan di NumPy, baca ukuran residual sebagai diagnosis tumpang tindih, serta kenali ketidakstabilan akibat urutan dan floating point.
Dua arah fitur dapat terlihat berbeda tetapi membawa hampir seluruh informasi yang sama. Menormalisasi masing-masing arah hanya memperbaiki panjangnya; langkah itu tidak menghapus tumpang tindih. Gram–Schmidt menghapus bagian dari setiap vektor baru yang sudah dijelaskan oleh arah sebelumnya, lalu menormalisasi sisanya. Panjang sisa tersebut menjadi diagnosis yang berguna: nilai nol berarti ketergantungan, sedangkan nilai yang sangat kecil memperingatkan bahwa arah baru hampir redundan atau rapuh secara numerik.
Di akhir pelajaran ini, Anda akan dapat menjalankan Gram–Schmidt pada dua atau tiga vektor, memverifikasi keluaran ortonormal, dan menafsirkan ukuran residual sebagai sinyal tumpang tindih yang bergantung pada skala. Anda juga akan tahu mengapa urutan masukan dan toleransi floating point yang dipilih memengaruhi hasil.
Hasil belajar: Jalankan Gram–Schmidt pada dua atau tiga vektor dan identifikasi ketidakstabilan.
Pelajaran 046: Basis Ortonormal Menyederhanakan Koordinat menunjukkan mengapa inner product dapat membaca koordinat dengan bersih ketika arah-arahnya ortonormal. Pelajaran ini menjelaskan cara membangun arah tersebut dari daftar yang bebas linear. Buku resmi Mathematics for Machine Learning memetakan gagasan ini ke Bagian 3.5. Vektor yang dihitung, visual, implementasi NumPy, hubungan dengan AI, dan penilaian di sini adalah karya orisinal.
Setiap arah baru hanya menyimpan bagian yang belum dijelaskan
Misalkan adalah vektor di . Vektor masukan tidak harus saling tegak lurus atau memiliki panjang satu. Gram–Schmidt membangun vektor satuan pada span yang sama, selama setiap masukan baru menyumbangkan arah tak nol setelah arah sebelumnya dihapus.
Vektor pertama tidak memiliki apa pun untuk dikurangkan. Untuk vektor berikutnya, gunakan inner product dengan setiap arah satuan sebelumnya untuk mengukur seberapa besar vektor baru menunjuk ke arah itu. Karena setiap memiliki panjang satu, tepat merupakan proyeksi ke arah tersebut.
Kata residual memiliki peran penting. Residual bukan sekadar vektor perantara yang boleh dibuang setelah normalisasi. Normanya, , adalah jarak dari ke span arah sebelumnya. Residual besar berarti masukan menyumbangkan komponen baru yang cukup besar relatif terhadap urutan yang dipilih. Residual kecil berarti masukan dekat dengan span sebelumnya. Residual nol sama sekali tidak dapat dinormalisasi.
Konstruksinya berurutan, jadi urutan merupakan bagian dari perhitungan. Jika masukan bebas linear, urutan yang berbeda tetap menggambarkan span yang sama dalam aritmetika eksak, tetapi arah, tanda, dan ukuran residual pada setiap langkah dapat berbeda. Hal ini penting ketika residual mendekati batas presisi atau lantai noise.
Perhitungan tiga vektor, satu proyeksi setiap kali
Gunakan tiga vektor di :
Koordinat ini tidak memiliki satuan fisik; ketiganya adalah tiga komponen dari arah fitur mainan. Angkanya dibuat kecil agar proyeksi dan normalisasi mudah terlihat.
Visual di bawah mengubah urutan tersebut menjadi penelusuran yang dikendalikan pembaca. Setiap panel menampilkan masukan, total proyeksi yang dihapus, residual, dan arah satuan untuk satu tahap. Tabelnya bukan duplikat dekoratif: tabel adalah fallback numerik yang dirender server dan mempertahankan perbandingan lengkap bagi pengguna keyboard dan teknologi bantu.
Ikuti residual melalui Gram–Schmidt
Gunakan tombol atau menu pilihan. Tahap yang dipilih akan diumumkan, dan tabel di bawah tetap tersedia tanpa interaksi.
- Vektor masukan
- (1, 1, 0)
- Proyeksi yang dihapus
- (0, 0, 0)
- Residual sebelum normalisasi
- (1, 1, 0)
- Arah ternormalisasi
- (0.71, 0.71, 0)
| Tahap | Masukan aᵢ | Proyeksi yang dihapus | Residual rᵢ | Arah satuan qᵢ |
|---|---|---|---|---|
| mulai dari a₁ | (1, 1, 0) | (0, 0, 0) | (1, 1, 0) | (0.71, 0.71, 0) |
| hapus q₁ dari a₂ | (1, 0, 1) | (0.5, 0.5, 0) | (0.5, −0.5, 1) | (0.41, −0.41, 0.82) |
| hapus q₁ dan q₂ dari a₃ | (0, 1, 1) | (0.67, 0.33, 0.33) | (−0.67, 0.67, 0.67) | (−0.58, 0.58, 0.58) |
Diagram membulatkan nilai hingga dua angka desimal; perhitungan dalam pelajaran mempertahankan akar dan pecahan eksak.
NumPy mencerminkan derivasi dan memperlihatkan pemeriksaannya
Implementasi dapat menyimpan arah sebagai baris. Untuk setiap masukan, implementasi memulai dari salinan vektor asli, mengurangi satu proyeksi setiap kali, mengukur norm residual, dan hanya menormalisasi ketika norm tersebut melewati toleransi. numpy.linalg.norm menyediakan panjang Euclidean yang dipakai di sini. Bentuk satu-per-satu ini sering disebut modified Gram–Schmidt; dalam aritmetika eksak, pengurangannya sama dengan jumlah yang ditampilkan, sementara urutan pembaruan membuat residual saat ini terlihat jelas.
import numpy as np
def gram_schmidt(vectors, rtol=1e-12):
directions = []
residual_norms = []
for index, vector in enumerate(vectors, start=1):
original = np.asarray(vector, dtype=float)
if original.ndim != 1:
raise ValueError(f"vector {index} must be one-dimensional")
residual = original.copy()
for q in directions:
coefficient = q @ residual
residual -= coefficient * q
residual_norm = np.linalg.norm(residual)
residual_norms.append(residual_norm)
scale = max(1.0, np.linalg.norm(original))
if residual_norm <= rtol * scale:
raise ValueError(
f"vector {index} is dependent at rtol={rtol:g}"
)
directions.append(residual / residual_norm)
return np.array(directions), np.array(residual_norms)
A = np.array([
[1.0, 1.0, 0.0],
[1.0, 0.0, 1.0],
[0.0, 1.0, 1.0],
])
Q, residual_norms = gram_schmidt(A)
np.set_printoptions(precision=8, suppress=True)
print(Q)
print(residual_norms)
print(Q @ Q.T)
print(np.allclose(Q @ Q.T, np.eye(3), rtol=1e-12, atol=1e-12))
Keluaran yang telah diverifikasi adalah:
[[ 0.70710678 0.70710678 0. ]
[ 0.40824829 -0.40824829 0.81649658]
[-0.57735027 0.57735027 0.57735027]]
[1.41421356 1.22474487 1.15470054]
[[ 1. 0. 0.]
[ 0. 1. 0.]
[ 0. 0. 1.]]
True
Karena arah disimpan sebagai baris, Q @ Q.T adalah matriks Gram keluaran. Matriks identitas mengonfirmasi panjang satu pada diagonal dan inner product silang nol di tempat lain. Jika implementasi menyimpan arah sebagai kolom, pemeriksaan yang sesuai adalah Q.T @ Q; konvensi bentuk harus ditentukan sebelum menulis perkalian.
np.allclose membandingkan nilai floating point dengan toleransi relatif dan absolut yang eksplisit, bukan menuntut kesamaan desimal yang persis. Ini adalah pengujian hasil perhitungan, bukan izin untuk menganggap setiap angka kecil sebagai nol. Toleransi harus sesuai dengan skala dan noise data fitur.
Ukuran residual adalah peringatan tumpang tindih, bukan vonis
Pertimbangkan pasangan yang hampir duplikat:
Setelah komponen dihapus, residual kedua kira-kira
Dengan rtol=1e-12, residual melewati ambang untuk skala masukan ini dan kode menerima arah baru yang sangat kecil. Dengan rtol=1e-9, residual ditandai sebagai dependen. Tidak ada pengaturan yang menemukan kebenaran universal tentang fitur: pengaturan pertama meminta pemisahan yang lebih halus, sedangkan yang kedua menganggap pemisahan itu berada di bawah resolusi yang berguna bagi aplikasi.
Vektor yang benar-benar dependen lebih jelas. Jika , pengurangan proyeksinya meninggalkan . Pembagian dengan berarti pembagian dengan nol, jadi implementasi yang kuat harus berhenti, membuang vektor tersebut, atau melaporkan redundansi. Implementasi tidak boleh menghasilkan nan lalu melanjutkan seolah-olah arah baru ada.
Pemeriksaan yang memperhitungkan skala dalam kode menggunakan sebagai aturan keputusan. Dalam pipeline fitur nyata, pilih ambang dari noise pengukuran yang diharapkan, penskalaan fitur, dan keputusan downstream. Catat pilihan itu bersama diagnosis. Toleransi tanpa skala sulit ditafsirkan.
Urutan mengubah basis dan cerita stabilitasnya
Gram–Schmidt adalah konstruksi yang mempertahankan span, bukan operasi pengurutan yang bebas urutan. Menata ulang masukan bebas linear mengubah arah yang dibangun pertama, sehingga proyeksi dan residual berikutnya berubah. Daftar akhir tetap merentang subruang yang sama dalam aritmetika eksak, tetapi vektor basis dapat berputar di dalam subruang itu atau berubah tanda. Dekat ketergantungan, perbedaannya lebih penting: menaruh vektor yang hampir redundan terlalu awal dapat membuat residual berikutnya terlihat kecil, sementara memulai dengan arah yang kondisinya lebih baik dapat menyisakan lebih banyak ruang numerik.
Untuk perhitungan kecil dalam pengajaran, loop eksplisit berguna karena setiap proyeksi terlihat. Untuk matriks yang lebih besar atau ill-conditioned, gunakan faktorisasi QR yang telah diuji seperti numpy.linalg.qr, lalu periksa rank atau diagnosis rekonstruksinya. Yang berubah adalah alat numeriknya, bukan tujuan geometrinya.
Arah fitur bukan variabel yang independen secara statistik
Misalkan baris sebuah matriks adalah arah fitur: mungkin pola pengukuran yang dirancang manual, probe yang dipelajari, atau arah untuk memeriksa representasi model. Gram–Schmidt dapat membuat kerangka koordinat ortogonal untuk span-nya. Norm residual memberi tahu praktisi seberapa banyak arah linear baru yang ditambahkan setiap baris relatif terhadap baris yang telah diproses. Ini dapat membantu meninjau fitur atau menemukan duplikat dekat sebelum analisis linear downstream.
Namun, hal itu tidak membuktikan bahwa variabel acak asli independen secara statistik dan tidak menjanjikan prediksi yang lebih baik. Ortogonalitas membandingkan vektor tetap di bawah inner product yang dipilih. Independensi statistik adalah pernyataan tentang distribusi probabilitas gabungan. Bahkan kovarians nol hanya menyingkirkan satu hubungan linear tertentu.
Sebagai contoh tandingan konkret, ambil sampel terpusat
Dot product-nya adalah
Kolom sampel tidak memiliki tumpang tindih linear, tetapi sepenuhnya ditentukan oleh melalui aturan nonlinear. Dalam laporan AI, katakan bahwa arah tersebut ortogonal atau bahwa kovarians sampel terpusat bernilai nol berdasarkan konvensi yang dinyatakan. Gunakan “independen” hanya jika ada argumen probabilistik terpisah yang mendukungnya.
Karena itu Gram–Schmidt menjadi jembatan praktis dari gagasan koordinat ortonormal pada pelajaran sebelumnya menuju diagnosis fitur: hapus bagian yang telah dijelaskan, ukur sisanya, normalkan hanya ketika residual bermakna, dan laporkan urutan serta toleransi yang menghasilkan keputusan. Pelajaran berikutnya akan memakai gagasan residual yang sama untuk menjelaskan arah yang ortogonal terhadap seluruh subruang.
Periksa pemahaman Anda
Pertanyaan 1
Untuk vektor masukan a₁,…,aᵢ dan arah satuan yang sudah ada q₁,…,qᵢ₋₁, tuliskan residual rᵢ dan jelaskan mengapa normanya informatif.
Tampilkan solusi langkah demi langkah
Mulailah dengan mengurangi proyeksi pada setiap arah sebelumnya:
Koefisien mengukur komponen sepanjang karena memiliki panjang satu. Setelah semua komponen itu dihapus, adalah jarak ke span arah sebelumnya. Nilai nol berarti tidak ada arah baru yang tersisa; nilai kecil berarti masukan hampir berada di span itu pada skala numerik yang dipilih.
Pertanyaan 2
Jalankan dua langkah pertama Gram–Schmidt untuk a₁=(1, 1) dan a₂=(1, 0). Berikan q₁, proyeksi yang dihapus dari a₂, r₂, dan q₂.
Tampilkan solusi langkah demi langkah
Norm pertama adalah
Koefisien proyeksi untuk adalah
Jadi vektor proyeksinya adalah dan
Normanya , sehingga normalisasi menghasilkan
Inner product silang adalah , yang memeriksa arah baru tersebut.
Pertanyaan 3
Dalam contoh tiga vektor pada pelajaran ini, mengapa total proyeksi yang dihapus dari a₃ sama dengan (2/3, 1/3, 1/3)? Tunjukkan kedua vektor proyeksi sebelum dijumlahkan.
Tampilkan solusi langkah demi langkah
Kedua koefisiennya adalah
Kalikan setiap koefisien dengan arahnya:
Menjumlahkan koordinat yang bersesuaian menghasilkan
Vektor itu adalah bagian dari yang sudah dijelaskan oleh dua arah pertama; menguranginya meninggalkan residual yang dipakai untuk membangun .
Pertanyaan 4
Apa yang harus dilakukan implementasi Gram–Schmidt ketika masukan baru tepat merupakan kelipatan masukan sebelumnya, misalnya a₂=2a₁?
Tampilkan solusi langkah demi langkah
Jika , arah pertama merentang . Proyeksinya adalah
sehingga residualnya . Normanya nol dan ekspresi tidak terdefinisi. Implementasi harus melaporkan ketergantungan, membuang duplikat, atau menerapkan kebijakan yang didokumentasikan secara eksplisit; jangan normalkan vektor nol atau menyimpan nilai nan secara diam-diam.
Pertanyaan 5
Mengapa dua urutan masukan yang berbeda dapat menghasilkan vektor-q yang berbeda walaupun span-nya sama? Apa yang tetap tidak berubah dalam aritmetika eksak?
Tampilkan solusi langkah demi langkah
Setiap arah baru dibuat ortogonal terhadap arah yang datang sebelumnya. Mengubah urutan mengubah span sebelumnya pada setiap langkah, sehingga proyeksi, residual, dan arah ternormalisasi dapat berubah. Sebuah arah juga dapat membalik tanda tanpa mengubah subruang satu dimensinya.
Untuk masukan yang bebas linear, aritmetika eksak tetap mempertahankan span seluruh daftar: setiap vektor asli dapat direkonstruksi dari arah keluaran dan arah keluaran berada dalam span asli. Vektor basis individual serta ukuran residual antara bergantung pada urutan, sehingga urutan merupakan bagian dari diagnosis numerik.
Pertanyaan 6
Kode menyimpan vektor-q sebagai baris. Pemeriksaan matriks apa yang memverifikasi ortonormalitas, dan kesalahan baris-versus-kolom apa yang mengubah pemeriksaan itu?
Tampilkan solusi langkah demi langkah
Dengan penyimpanan sebagai baris, entri dari adalah inner product baris dan baris . Jadi pemeriksaan yang benar adalah
Di NumPy, gunakan np.allclose(Q @ Q.T, np.eye(Q.shape[0]), atol=...) dengan toleransi yang dinyatakan. Jika arah disimpan sebagai kolom, matriks Gram yang sesuai adalah . Memakai pemeriksaan kolom pada data yang disimpan sebagai baris dapat memeriksa hubungan berpasangan yang salah atau menghasilkan bentuk yang tidak sesuai dengan identitas yang diinginkan.
Pertanyaan 7
Sebuah arah fitur baru memiliki norm residual 0.00000000007 setelah arah sebelumnya dihapus. Apakah itu otomatis berarti fitur tersebut tidak berguna?
Tampilkan solusi langkah demi langkah
Tidak. Nilai tersebut mengatakan bahwa arah baru menyumbangkan sangat sedikit relatif terhadap span sebelumnya pada skala masukan dan urutan saat ini. Apakah sumbangan itu dapat diabaikan bergantung pada noise pengukuran, satuan fitur, sensitivitas downstream, dan toleransi yang dipilih.
Sebagai contoh, rtol=1e-12 mungkin menerima residual dekat untuk vektor berskala satu, sedangkan rtol=1e-9 mungkin mengklasifikasikannya sebagai dependen. Tafsiran yang benar adalah keputusan numerik yang didokumentasikan—“di bawah resolusi ini” atau “dipertahankan pada resolusi ini”—bukan klaim universal tentang nilai prediktif.
Pertanyaan 8
Mengapa dot product terpusat nol antara sampel fitur gagal membuktikan independensi statistik? Gunakan x=(−2,−1,0,1,2) dan y=(2,−1,−2,−1,2).
Tampilkan solusi langkah demi langkah
Pertama hitung tumpang tindih linear:
Karena kedua vektor sampel sudah terpusat, ini juga menghasilkan kovarians empiris nol dengan konvensi bobot sama yang biasa. Namun relasi menentukan setiap nilai dari . Pasangan itu memiliki ketergantungan nonlinear meskipun inner product linearnya nol.
Ortogonalitas dan kovarians nol menggambarkan satu perbandingan linear. Independensi memerlukan pernyataan tentang distribusi gabungan lengkap, sehingga membutuhkan bukti terpisah.