Kursus Matematika untuk AI · Pelajaran 46 dari 180
Basis Ortonormal Menyederhanakan Koordinat
Verifikasi basis ortonormal dan pulihkan koordinat sinyal dengan hasil kali dalam, lalu hubungkan perhitungan ini dengan fitur AI yang tidak berkorelasi.
Representasi AI dapat menggunakan sistem koordinat yang lebih mudah dibaca daripada sumbu fitur mentah. Kasus yang paling nyaman adalah basis ortonormal: arahnya saling tegak lurus dan masing-masing memiliki panjang 1. Dalam basis ini, besarnya sinyal pada satu arah cukup dihitung dengan satu hasil kali dalam. Tidak ada sistem linear kecil yang perlu diselesaikan dan tidak ada koreksi untuk sumbu yang teregang.
Pada akhir pelajaran ini, Anda akan mampu memverifikasi bahwa sebuah basis bersifat ortonormal dan menghitung koordinat vektor dengan hasil kali dalam. Anda juga akan memahami mengapa arah fitur yang ortogonal dapat mengurangi tumpang tindih linear tanpa membuktikan bahwa peubah acak yang mendasarinya saling independen.
Hasil belajar: Memverifikasi keortonormalan dan menghitung koordinat dengan hasil kali dalam.
Pelajaran ini menggabungkan Pelajaran 031: Basis Memberikan Sistem Koordinat yang Ringkas, yang menetapkan keunikan koordinat dalam sebuah basis, dengan Pelajaran 045: Ortogonalitas Berarti Tidak Ada Tumpang Tindih Linear, yang menetapkan uji hasil kali dalam bernilai nol. Buku resmi Mathematics for Machine Learning memetakan gagasan ini ke Bagian 3.5. Penjelasan, contoh numerik, kode, visual, hubungan dengan AI, dan soal penilaian di sini adalah karya orisinal.
Vektor satuan yang tegak lurus membentuk kerangka yang mudah dibaca
Misalkan adalah vektor-vektor di . Sebuah basis disebut ortonormal jika setiap vektor memiliki panjang Euclidean satu dan setiap pasangan vektor yang berbeda saling ortogonal. Kedua syarat ini dapat ditulis sebagai satu aturan:
Kata basis tetap penting. Sepasang vektor satuan yang saling tegak lurus di sebuah bidang dapat mencapai setiap titik di bidang itu, sehingga keduanya menjadi basis untuk bidang tersebut. Dalam ruang berdimensi lebih tinggi, daftarnya harus memuat cukup banyak arah untuk mencakup ruang yang direpresentasikan. Keortonormalan membuat basis sangat mudah digunakan; keortonormalan tidak mengubah dimensi atau menciptakan ruang vektor baru.
Misalkan sinyal ditulis dalam basis ini sebagai
Ambil hasil kali dalam dengan salah satu vektor basis, misalnya :
Setiap suku lenyap kecuali suku dengan : ortogonalitas membuat hasil kali dalam lainnya bernilai nol, sedangkan panjang satu membuat hasil kali dalam yang tersisa bernilai satu. Jadi koordinat dapat dibaca langsung sebagai
Untuk basis persegi lengkap, aturan ini menjadi dua operasi yang saling berpasangan:
Transpose adalah pembaca koordinat. Matriks aslinya adalah pembangun kembali sinyal.
Contoh lengkap membaca koordinat
Gunakan dua arah kandidat berikut:
Keduanya terotasi relatif terhadap sumbu horizontal dan vertikal standar, tetapi pecahan-pecahan ini membuat pemeriksaan dapat dilakukan secara eksak.
Pembaca koordinat di bawah menggunakan basis tetap yang sama dan tiga sinyal kecil. Mengubah sinyal mengubah titik ujung dan kedua hasil kali dalam; panah basis tetap saling tegak lurus dan memiliki panjang satu. Tabelnya dirender bersama visual, sehingga perhitungannya tetap tersedia sebelum JavaScript berjalan dan bagi pembaca yang tidak menggunakan plot.
Baca koordinat dalam basis ortonormal
Basis tetap: u₁ = (3/5, 4/5), u₂ = (−4/5, 3/5)
Tabel di bawah tetap menjadi alternatif numerik yang lengkap untuk diagram koordinat.
Pembacaan saat ini: Sinyal A
- Vektor dalam koordinat standar
- (2, 1)
- Koordinat hasil kali dalam
- (2, −1)
- Pembangunan kembali
- (2, 1)
| Sinyal | Vektor | ⟨v, u₁⟩ | ⟨v, u₂⟩ |
|---|---|---|---|
| Sinyal A | (2, 1) | 2 | −1 |
| Sinyal B | (1, 2) | 2.2 | 0.4 |
| Sinyal C | (−1, 1) | 0.2 | 1.4 |
Koefisien dihitung dengan hasil kali dalam karena basis yang ditampilkan bersifat ortonormal.
NumPy dapat memverifikasi dan membaca basis
Untuk array satu dimensi, NumPy mendefinisikan numpy.inner sebagai hasil kali dalam biasa. numpy.linalg.norm menghitung norma vektor; dengan orde default pada array satu dimensi, hasilnya adalah panjang Euclidean yang digunakan di sini. Kode berikut menyimpan vektor basis sebagai kolom , sehingga U.T @ v menjalankan dua hasil kali dalam dalam satu operasi.
import numpy as np
U = np.array([
[3 / 5, -4 / 5],
[4 / 5, 3 / 5],
], dtype=float) # u1 and u2 are columns
v = np.array([2.0, 1.0])
gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates
print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))
Hasilnya adalah:
[[1. 0.]
[0. 1.]]
[ 2. -1.]
[2. 1.]
True
True
U.T @ U memeriksa keortonormalan, U.T @ v membaca koordinat, dan U @ coordinates membangun kembali sinyal. Pemanggilan allclose sesuai untuk perhitungan floating-point: implementasi desimal dapat menghasilkan nilai kecil seperti 2.220446049250313e-16 pada tempat yang secara eksak bernilai nol. Fungsi tersebut tidak mengubah matriks sembarang menjadi basis ortonormal; fungsi itu hanya membandingkan hasil yang dihitung dengan toleransi.
Kesalahan orientasi mudah terjadi. Jika vektor basis disimpan sebagai baris, urutan perkalian berubah. Tentukan apakah baris atau kolom yang membawa arah, tuliskan bentuk yang diharapkan, lalu periksa pembangunan kembali alih-alih menganggap perkalian yang kebetulan dapat dilakukan pasti bermakna.
Mengapa ini membantu representasi AI
Misalkan sebuah encoder merepresentasikan sinyal terpusat dalam dua arah yang dipelajari. Jika arah-arah tersebut membentuk basis ortonormal, representasinya dapat menyimpan . Setiap koordinat melaporkan besaran bertanda dari sinyal pada satu arah, dan panjang kuadratnya terpisah dengan rapi:
Suku silang lenyap karena . Karena itu, pembaca linear di tahap berikutnya dapat menalar satu koordinat tanpa secara tidak sengaja menambahkan komponen dari koordinat lain melalui geometri basis.
Inilah makna geometris sumbu yang tidak berkorelasi: arah yang dipilih tidak memiliki tumpang tindih linear di bawah hasil kali dalam yang ditentukan. Pernyataan ini berguna, tetapi lebih sempit daripada mengatakan “fitur-fitur tersebut tidak berhubungan.”
Analisis komponen utama adalah konteks implementasi yang umum. Dokumentasi PCA scikit-learn saat ini menjelaskan PCA sebagai proyeksi data terpusat ke komponen-komponen ortogonal. Opsi whiten=True juga menskalakan komponen yang telah ditransformasikan agar memiliki varians per komponen sebesar satu; ortogonalitas biasa tidak berarti semua komponen memiliki varians yang sama. Jadi, PCA dapat menyediakan kerangka koordinat ortogonal, sedangkan whitening adalah pilihan skala yang terpisah.
Tiga batasan untuk mencegah klaim berlebihan
Basis yang tidak ortonormal tetap berfungsi, tetapi jalan pintasnya tidak
Ambil dan . Keduanya membentuk basis untuk : keduanya independen dan merentangkan bidang. Namun, panjang adalah dan kedua vektor tidak ortogonal. Untuk , hasil kali dalamnya adalah
yang bukan koordinatnya. Selesaikan kombinasi sebenarnya:
Baris kedua memberikan , lalu baris pertama memberikan . Koordinatnya adalah , bukan . Jika suatu basis ortogonal tetapi vektornya tidak memiliki panjang satu, sebagian jalan pintas masih berlaku:
Untuk basis yang sepenuhnya tidak ortogonal, suku silang tetap ada dan persoalan koordinat menjadi sistem linear yang melibatkan matriks Gram basis tersebut.
Vektor nol tidak memiliki arah untuk dinormalisasi
Vektor nol memenuhi untuk setiap , sehingga definisi aljabarnya menyebutnya ortogonal terhadap setiap vektor. Namun dan tidak terdefinisi. Vektor ini tidak dapat menjadi anggota basis ortonormal: ia tidak memiliki arah dan linear dependen dengan setiap daftar yang memuatnya. Vektor nol dapat menjadi sinyal yang semua koordinatnya nol; ia tidak dapat menjadi salah satu sumbu yang digunakan untuk membaca koordinat tersebut.
Ortogonalitas bukan independensi statistik
Istilah-istilah ini menjawab pertanyaan yang berbeda:
| Istilah | Apa yang dibandingkan? | Arti kondisi nol | Apa yang tidak dibuktikan |
|---|---|---|---|
| Ortogonalitas | Vektor tetap dalam ruang hasil kali dalam yang dipilih | Hasil kali dalamnya nol | Tidak ada hubungan nonlinear dalam data |
| Tidak berkorelasi | Peubah acak terpusat atau kolom dataset | Kovariansnya nol menurut konvensi sampel yang dinyatakan | Independensi statistik |
| Independensi | Distribusi probabilitas gabungan | Hukum gabungannya memfaktorkan diri menjadi hukum marginal | Tidak ditetapkan oleh satu hasil kali titik |
Berikut contoh tandingan kecil. Misalkan
dengan persamaan terakhir dihitung per koordinat. Kedua kolom sudah terpusat, dan
Karena itu kovarians empirisnya nol, tetapi sepenuhnya ditentukan oleh melalui aturan nonlinear. Uji tumpang tindih linear melewatkan dependensi tersebut; uji itu tidak menetapkan independensi. Dalam pipeline AI, sebut hasilnya “ortogonal” atau “tidak berkorelasi pada sampel terpusat ini” kecuali argumen probabilistik terpisah mendukung klaim yang lebih kuat.
Uji pemahaman Anda
Question 1
Apakah u₁=(0, 1) dan u₂=(−1, 0) membentuk basis ortonormal untuk ℝ²? Verifikasi kedua syarat dan jelaskan kesimpulannya.
Show the step-by-step solution
Hitung kedua panjangnya:
Sekarang hitung hasil kali dalam silang:
Kedua vektor memiliki panjang satu dan saling tegak lurus. Keduanya juga merupakan dua arah independen di , sehingga membentuk basis ortonormal.
Question 2
Dengan u₁=(3/5, 4/5) dan u₂=(−4/5, 3/5), hitung koordinat v=(1, 2) menggunakan hasil kali dalam.
Show the step-by-step solution
Karena basisnya ortonormal, hitung satu hasil kali dalam untuk setiap koordinat:
Jadi . Periksa komponen pertama dari pembangunan kembali:
Komponen keduanya adalah
jadi koordinat tersebut membangun kembali .
Question 3
Vektor dalam koordinat standar apa yang direpresentasikan oleh pasangan koordinat (3, −2) dalam basis tetap pada pelajaran ini? Tunjukkan kombinasinya sebelum menyederhanakan.
Show the step-by-step solution
Mulai dari definisi koordinat basis:
Gabungkan komponen yang bersesuaian:
Pasangan koordinat itu bukan vektor dalam koordinat standar; pasangan tersebut adalah dua koefisien yang harus diterapkan pada dua arah basis.
Question 4
Mengapa cⱼ=⟨uⱼ,v⟩ mengisolasi satu koordinat ketika v=Σᵢ cᵢuᵢ? Sebutkan dua sifat yang menghilangkan suku-suku lain.
Show the step-by-step solution
Ambil hasil kali dalam dengan dan distribusikan ke dalam jumlah:
Untuk setiap , ortogonalitas memberikan , sehingga suku-suku itu lenyap. Untuk , panjang satu memberikan , menyisakan . Kedua sifat diperlukan: vektor yang tegak lurus tetapi teregang menyisakan faktor kuadrat panjang, sedangkan vektor yang panjangnya satu tetapi tidak ortogonal menyisakan suku silang.
Question 5
Untuk b₁=(1, 0), b₂=(1, 1), dan v=(2, 3), jelaskan mengapa hasil kali dalam bukan koordinat dan selesaikan koordinat sebenarnya.
Show the step-by-step solution
Periksa dahulu syarat-syarat jalan pintas. Vektor kedua memiliki panjang dan
jadi basis ini tidak ortogonal dan tidak ortonormal. Hasil kali dalamnya adalah dan , tetapi angka-angka tersebut tidak memiliki interpretasi jalan pintas tadi.
Selesaikan kombinasi yang mendefinisikan koordinat:
Baris kedua memberikan ; substitusi ke baris pertama memberikan , sehingga . Koordinat sebenarnya adalah .
Question 6
Seorang kolega berkata bahwa vektor nol adalah arah ortonormal yang sah karena hasil kali titiknya dengan setiap vektor bernilai nol. Apa yang salah dari penalaran itu?
Show the step-by-step solution
Pernyataan tentang hasil kali titik itu benar secara aljabar: . Namun vektor ortonormal juga harus memiliki norma 1, sedangkan
Tidak ada arah yang dapat dinormalisasi, karena membaginya dengan normanya berarti membagi dengan nol. Jadi vektor nol dikecualikan dari basis ortonormal meskipun secara aljabar ia ortogonal terhadap setiap vektor dalam arti hasil kali dalam bernilai nol.
Question 7
Sampel terpusat x=(−1, 0, 1) dan y=(1, −2, 1) memiliki hasil kali titik nol. Apakah itu membuktikan bahwa x dan y independen secara statistik? Gunakan hubungan di antara keduanya untuk menentukan jawabannya.
Show the step-by-step solution
Hasil kali titiknya adalah
sehingga kovarians empirisnya nol menurut konvensi sampel terpusat. Namun setiap nilai ditentukan oleh melalui . Itu adalah hubungan nonlinear yang deterministik, sehingga peubah-peubah tersebut tidak independen. Hasil kali titik nol menyingkirkan pergerakan linear bersama yang terukur pada sampel ini; hasil itu tidak menyingkirkan dependensi nonlinear.
Question 8
Dalam kode NumPy, U menyimpan arah basis sebagai kolom. Sebuah bug mengganti coordinates = U.T @ v menjadi coordinates = U @ v. Pemeriksaan apa yang seharusnya menangkap kesalahan itu, dan mengapa U.T adalah pembaca yang benar?
Show the step-by-step solution
Pemeriksaan pembangunan kembali harus membandingkan U @ coordinates dengan v menggunakan np.allclose. Persamaan koordinat yang dimaksud adalah
karena entri ke- adalah hasil kali titik kolom dengan . Kemudian,
untuk basis ortonormal lengkap. Mengganti dengan menghitung kombinasi linear yang berbeda dari baris dan kolom; hasilnya mungkin tetap berupa vektor dengan bentuk yang benar, tetapi perbandingan pembangunan kembali akan menunjukkan bahwa hasil itu tidak berisi koordinat hasil kali dalam yang dimaksud.