Kursus Matematika untuk AI · Pelajaran 46 dari 180

Basis Ortonormal Menyederhanakan Koordinat

Verifikasi basis ortonormal dan pulihkan koordinat sinyal dengan hasil kali dalam, lalu hubungkan perhitungan ini dengan fitur AI yang tidak berkorelasi.

Bagikan artikel ini

Representasi AI dapat menggunakan sistem koordinat yang lebih mudah dibaca daripada sumbu fitur mentah. Kasus yang paling nyaman adalah basis ortonormal: arahnya saling tegak lurus dan masing-masing memiliki panjang 1. Dalam basis ini, besarnya sinyal pada satu arah cukup dihitung dengan satu hasil kali dalam. Tidak ada sistem linear kecil yang perlu diselesaikan dan tidak ada koreksi untuk sumbu yang teregang.

Pada akhir pelajaran ini, Anda akan mampu memverifikasi bahwa sebuah basis bersifat ortonormal dan menghitung koordinat vektor dengan hasil kali dalam. Anda juga akan memahami mengapa arah fitur yang ortogonal dapat mengurangi tumpang tindih linear tanpa membuktikan bahwa peubah acak yang mendasarinya saling independen.

Hasil belajar: Memverifikasi keortonormalan dan menghitung koordinat dengan hasil kali dalam.

Pelajaran ini menggabungkan Pelajaran 031: Basis Memberikan Sistem Koordinat yang Ringkas, yang menetapkan keunikan koordinat dalam sebuah basis, dengan Pelajaran 045: Ortogonalitas Berarti Tidak Ada Tumpang Tindih Linear, yang menetapkan uji hasil kali dalam bernilai nol. Buku resmi Mathematics for Machine Learning memetakan gagasan ini ke Bagian 3.5. Penjelasan, contoh numerik, kode, visual, hubungan dengan AI, dan soal penilaian di sini adalah karya orisinal.

Vektor satuan yang tegak lurus membentuk kerangka yang mudah dibaca

Misalkan u1,…,unu_1,\ldots,u_n adalah vektor-vektor di Rn\mathbb{R}^n. Sebuah basis disebut ortonormal jika setiap vektor memiliki panjang Euclidean satu dan setiap pasangan vektor yang berbeda saling ortogonal. Kedua syarat ini dapat ditulis sebagai satu aturan:

Kata basis tetap penting. Sepasang vektor satuan yang saling tegak lurus di sebuah bidang dapat mencapai setiap titik di bidang itu, sehingga keduanya menjadi basis untuk bidang tersebut. Dalam ruang berdimensi lebih tinggi, daftarnya harus memuat cukup banyak arah untuk mencakup ruang yang direpresentasikan. Keortonormalan membuat basis sangat mudah digunakan; keortonormalan tidak mengubah dimensi atau menciptakan ruang vektor baru.

Misalkan sinyal vv ditulis dalam basis ini sebagai

v=c1u1+c2u2+⋯+cnun.v=c_1u_1+c_2u_2+\cdots+c_nu_n.

Ambil hasil kali dalam dengan salah satu vektor basis, misalnya uju_j:

⟨uj,v⟩=⟨uj,∑i=1nciui⟩=∑i=1nci⟨uj,ui⟩=cj.\begin{aligned} \langle u_j,v\rangle &=\left\langle u_j,\sum_{i=1}^{n}c_i u_i\right\rangle\\ &=\sum_{i=1}^{n}c_i\langle u_j,u_i\rangle\\ &=c_j. \end{aligned}

Setiap suku lenyap kecuali suku dengan i=ji=j: ortogonalitas membuat hasil kali dalam lainnya bernilai nol, sedangkan panjang satu membuat hasil kali dalam yang tersisa bernilai satu. Jadi koordinat dapat dibaca langsung sebagai

cj=⟨uj,v⟩=ujTv.\boxed{c_j=\langle u_j,v\rangle=u_j^{\mathsf T}v.}

Untuk basis persegi lengkap, aturan ini menjadi dua operasi yang saling berpasangan:

c=UTv,v=Uc.\boldsymbol{c}=U^{\mathsf T}v, \qquad v=U\boldsymbol{c}.

Transpose adalah pembaca koordinat. Matriks aslinya adalah pembangun kembali sinyal.

Contoh lengkap membaca koordinat

Gunakan dua arah kandidat berikut:

u1=[3/54/5],u2=[−4/53/5].u_1=\begin{bmatrix}3/5\\4/5\end{bmatrix}, \qquad u_2=\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

Keduanya terotasi relatif terhadap sumbu horizontal dan vertikal standar, tetapi pecahan-pecahan ini membuat pemeriksaan dapat dilakukan secara eksak.

Pembaca koordinat di bawah menggunakan basis tetap yang sama dan tiga sinyal kecil. Mengubah sinyal mengubah titik ujung dan kedua hasil kali dalam; panah basis tetap saling tegak lurus dan memiliki panjang satu. Tabelnya dirender bersama visual, sehingga perhitungannya tetap tersedia sebelum JavaScript berjalan dan bagi pembaca yang tidak menggunakan plot.

Baca koordinat dalam basis ortonormal

Basis tetap: u₁ = (3/5, 4/5), u₂ = (−4/5, 3/5)

Tabel di bawah tetap menjadi alternatif numerik yang lengkap untuk diagram koordinat.

Baca koordinat dalam basis ortonormalv = (2, 1). Kedua panah basis berakhir di (0.6, 0.8) dan (−0.8, 0.6); pembacaan koordinat dan tabel memberikan hasil kali dalam yang eksak.x₁x₂u₁u₂v

Pembacaan saat ini: Sinyal A

Vektor dalam koordinat standar
(2, 1)
Koordinat hasil kali dalam
(2, −1)
Pembangunan kembali
(2, 1)
Setiap sinyal yang tersedia dan koordinatnya dalam basis tetap.
SinyalVektor⟨v, u₁⟩⟨v, u₂⟩
Sinyal A(2, 1)2−1
Sinyal B(1, 2)2.20.4
Sinyal C(−1, 1)0.21.4

Koefisien dihitung dengan hasil kali dalam karena basis yang ditampilkan bersifat ortonormal.

Kedua panah basis tetap saling tegak lurus dan memiliki panjang satu. Pilih sebuah sinyal untuk melihat koordinat hasil kali dalamnya dan pembangunan kembali yang kembali ke titik ujung yang sama.

NumPy dapat memverifikasi dan membaca basis

Untuk array satu dimensi, NumPy mendefinisikan numpy.inner sebagai hasil kali dalam biasa. numpy.linalg.norm menghitung norma vektor; dengan orde default pada array satu dimensi, hasilnya adalah panjang Euclidean yang digunakan di sini. Kode berikut menyimpan vektor basis sebagai kolom UU, sehingga U.T @ v menjalankan dua hasil kali dalam dalam satu operasi.

import numpy as np

U = np.array([
    [3 / 5, -4 / 5],
    [4 / 5,  3 / 5],
], dtype=float)  # u1 and u2 are columns
v = np.array([2.0, 1.0])

gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates

print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))

Hasilnya adalah:

[[1. 0.]
 [0. 1.]]
[ 2. -1.]
[2. 1.]
True
True

U.T @ U memeriksa keortonormalan, U.T @ v membaca koordinat, dan U @ coordinates membangun kembali sinyal. Pemanggilan allclose sesuai untuk perhitungan floating-point: implementasi desimal dapat menghasilkan nilai kecil seperti 2.220446049250313e-16 pada tempat yang secara eksak bernilai nol. Fungsi tersebut tidak mengubah matriks sembarang menjadi basis ortonormal; fungsi itu hanya membandingkan hasil yang dihitung dengan toleransi.

Kesalahan orientasi mudah terjadi. Jika vektor basis disimpan sebagai baris, urutan perkalian berubah. Tentukan apakah baris atau kolom yang membawa arah, tuliskan bentuk yang diharapkan, lalu periksa pembangunan kembali alih-alih menganggap perkalian yang kebetulan dapat dilakukan pasti bermakna.

Mengapa ini membantu representasi AI

Misalkan sebuah encoder merepresentasikan sinyal terpusat vv dalam dua arah yang dipelajari. Jika arah-arah tersebut membentuk basis ortonormal, representasinya dapat menyimpan c=UTvc=U^{\mathsf T}v. Setiap koordinat melaporkan besaran bertanda dari sinyal pada satu arah, dan panjang kuadratnya terpisah dengan rapi:

∥v∥22=∥c1u1+c2u2∥22=c12+c22.\lVert v\rVert_2^2 =\lVert c_1u_1+c_2u_2\rVert_2^2 =c_1^2+c_2^2.

Suku silang lenyap karena u1Tu2=0u_1^{\mathsf T}u_2=0. Karena itu, pembaca linear di tahap berikutnya dapat menalar satu koordinat tanpa secara tidak sengaja menambahkan komponen dari koordinat lain melalui geometri basis.

Inilah makna geometris sumbu yang tidak berkorelasi: arah yang dipilih tidak memiliki tumpang tindih linear di bawah hasil kali dalam yang ditentukan. Pernyataan ini berguna, tetapi lebih sempit daripada mengatakan “fitur-fitur tersebut tidak berhubungan.”

Analisis komponen utama adalah konteks implementasi yang umum. Dokumentasi PCA scikit-learn saat ini menjelaskan PCA sebagai proyeksi data terpusat ke komponen-komponen ortogonal. Opsi whiten=True juga menskalakan komponen yang telah ditransformasikan agar memiliki varians per komponen sebesar satu; ortogonalitas biasa tidak berarti semua komponen memiliki varians yang sama. Jadi, PCA dapat menyediakan kerangka koordinat ortogonal, sedangkan whitening adalah pilihan skala yang terpisah.

Tiga batasan untuk mencegah klaim berlebihan

Basis yang tidak ortonormal tetap berfungsi, tetapi jalan pintasnya tidak

Ambil b1=(1,0)Tb_1=(1,0)^{\mathsf T} dan b2=(1,1)Tb_2=(1,1)^{\mathsf T}. Keduanya membentuk basis untuk R2\mathbb{R}^2: keduanya independen dan merentangkan bidang. Namun, panjang b2b_2 adalah 2\sqrt{2} dan kedua vektor tidak ortogonal. Untuk v=(2,3)Tv=(2,3)^{\mathsf T}, hasil kali dalamnya adalah

⟨b1,v⟩=2,⟨b2,v⟩=5,\langle b_1,v\rangle=2, \qquad \langle b_2,v\rangle=5,

yang bukan koordinatnya. Selesaikan kombinasi sebenarnya:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

Baris kedua memberikan c2=3c_2=3, lalu baris pertama memberikan c1=−1c_1=-1. Koordinatnya adalah (−1,3)(-1,3), bukan (2,5)(2,5). Jika suatu basis ortogonal tetapi vektornya tidak memiliki panjang satu, sebagian jalan pintas masih berlaku:

cj=⟨bj,v⟩∥bj∥22.c_j=\frac{\langle b_j,v\rangle}{\lVert b_j\rVert_2^2}.

Untuk basis yang sepenuhnya tidak ortogonal, suku silang tetap ada dan persoalan koordinat menjadi sistem linear yang melibatkan matriks Gram basis tersebut.

Vektor nol tidak memiliki arah untuk dinormalisasi

Vektor nol memenuhi 0Tx=00^{\mathsf T}x=0 untuk setiap xx, sehingga definisi aljabarnya menyebutnya ortogonal terhadap setiap vektor. Namun ∥0∥2=0\lVert0\rVert_2=0 dan 0/∥0∥20/\lVert0\rVert_2 tidak terdefinisi. Vektor ini tidak dapat menjadi anggota basis ortonormal: ia tidak memiliki arah dan linear dependen dengan setiap daftar yang memuatnya. Vektor nol dapat menjadi sinyal yang semua koordinatnya nol; ia tidak dapat menjadi salah satu sumbu yang digunakan untuk membaca koordinat tersebut.

Ortogonalitas bukan independensi statistik

Istilah-istilah ini menjawab pertanyaan yang berbeda:

IstilahApa yang dibandingkan?Arti kondisi nolApa yang tidak dibuktikan
OrtogonalitasVektor tetap dalam ruang hasil kali dalam yang dipilihHasil kali dalamnya nolTidak ada hubungan nonlinear dalam data
Tidak berkorelasiPeubah acak terpusat atau kolom datasetKovariansnya nol menurut konvensi sampel yang dinyatakanIndependensi statistik
IndependensiDistribusi probabilitas gabunganHukum gabungannya memfaktorkan diri menjadi hukum marginalTidak ditetapkan oleh satu hasil kali titik

Berikut contoh tandingan kecil. Misalkan

x=(−1,0,1),y=(1,−2,1)=3x2−2x=(-1,0,1), \qquad y=(1,-2,1)=3x^2-2

dengan persamaan terakhir dihitung per koordinat. Kedua kolom sudah terpusat, dan

xTy=(−1)(1)+0(−2)+1(1)=0.x^{\mathsf T}y=(-1)(1)+0(-2)+1(1)=0.

Karena itu kovarians empirisnya nol, tetapi yy sepenuhnya ditentukan oleh xx melalui aturan nonlinear. Uji tumpang tindih linear melewatkan dependensi tersebut; uji itu tidak menetapkan independensi. Dalam pipeline AI, sebut hasilnya “ortogonal” atau “tidak berkorelasi pada sampel terpusat ini” kecuali argumen probabilistik terpisah mendukung klaim yang lebih kuat.

Uji pemahaman Anda

Question 1

Apakah u₁=(0, 1) dan u₂=(−1, 0) membentuk basis ortonormal untuk ℝ²? Verifikasi kedua syarat dan jelaskan kesimpulannya.

Show the step-by-step solution

Hitung kedua panjangnya:

∥u1∥2=02+12=1,∥u2∥2=(−1)2+02=1.\lVert u_1\rVert_2=\sqrt{0^2+1^2}=1, \qquad \lVert u_2\rVert_2=\sqrt{(-1)^2+0^2}=1.

Sekarang hitung hasil kali dalam silang:

u1Tu2=0(−1)+1(0)=0.u_1^{\mathsf T}u_2=0(-1)+1(0)=0.

Kedua vektor memiliki panjang satu dan saling tegak lurus. Keduanya juga merupakan dua arah independen di R2\mathbb{R}^2, sehingga membentuk basis ortonormal.

Question 2

Dengan u₁=(3/5, 4/5) dan u₂=(−4/5, 3/5), hitung koordinat v=(1, 2) menggunakan hasil kali dalam.

Show the step-by-step solution

Karena basisnya ortonormal, hitung satu hasil kali dalam untuk setiap koordinat:

c1=u1Tv=35(1)+45(2)=115,c2=u2Tv=−45(1)+35(2)=25.\begin{aligned} c_1&=u_1^{\mathsf T}v=\frac35(1)+\frac45(2)=\frac{11}{5},\\ c_2&=u_2^{\mathsf T}v=-\frac45(1)+\frac35(2)=\frac25. \end{aligned}

Jadi [v]U=(11/5,2/5)T[v]_U=(11/5,2/5)^{\mathsf T}. Periksa komponen pertama dari pembangunan kembali:

11535+25(−45)=33−825=1.\frac{11}{5}\frac35+\frac25\left(-\frac45\right) =\frac{33-8}{25}=1.

Komponen keduanya adalah

11545+2535=44+625=2,\frac{11}{5}\frac45+\frac25\frac35 =\frac{44+6}{25}=2,

jadi koordinat tersebut membangun kembali (1,2)(1,2).

Question 3

Vektor dalam koordinat standar apa yang direpresentasikan oleh pasangan koordinat (3, −2) dalam basis tetap pada pelajaran ini? Tunjukkan kombinasinya sebelum menyederhanakan.

Show the step-by-step solution

Mulai dari definisi koordinat basis:

v=3u1−2u2=3[3/54/5]−2[−4/53/5].v=3u_1-2u_2 =3\begin{bmatrix}3/5\\4/5\end{bmatrix} -2\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

Gabungkan komponen yang bersesuaian:

v=[9/5+8/512/5−6/5]=[17/56/5].v=\begin{bmatrix}9/5+8/5\\12/5-6/5\end{bmatrix} =\begin{bmatrix}17/5\\6/5\end{bmatrix}.

Pasangan koordinat itu bukan vektor dalam koordinat standar; pasangan tersebut adalah dua koefisien yang harus diterapkan pada dua arah basis.

Question 4

Mengapa cⱼ=⟨uⱼ,v⟩ mengisolasi satu koordinat ketika v=Σᵢ cᵢuᵢ? Sebutkan dua sifat yang menghilangkan suku-suku lain.

Show the step-by-step solution

Ambil hasil kali dalam dengan uju_j dan distribusikan ke dalam jumlah:

⟨uj,v⟩=⟨uj,∑iciui⟩=∑ici⟨uj,ui⟩.\langle u_j,v\rangle =\left\langle u_j,\sum_i c_i u_i\right\rangle =\sum_i c_i\langle u_j,u_i\rangle.

Untuk setiap i≠ji\ne j, ortogonalitas memberikan ⟨uj,ui⟩=0\langle u_j,u_i\rangle=0, sehingga suku-suku itu lenyap. Untuk i=ji=j, panjang satu memberikan ⟨uj,uj⟩=1\langle u_j,u_j\rangle=1, menyisakan cj⋅1=cjc_j\cdot1=c_j. Kedua sifat diperlukan: vektor yang tegak lurus tetapi teregang menyisakan faktor kuadrat panjang, sedangkan vektor yang panjangnya satu tetapi tidak ortogonal menyisakan suku silang.

Question 5

Untuk b₁=(1, 0), b₂=(1, 1), dan v=(2, 3), jelaskan mengapa hasil kali dalam bukan koordinat dan selesaikan koordinat sebenarnya.

Show the step-by-step solution

Periksa dahulu syarat-syarat jalan pintas. Vektor kedua memiliki panjang 2\sqrt2 dan

b1Tb2=1(1)+0(1)=1≠0,b_1^{\mathsf T}b_2=1(1)+0(1)=1\ne0,

jadi basis ini tidak ortogonal dan tidak ortonormal. Hasil kali dalamnya adalah b1Tv=2b_1^{\mathsf T}v=2 dan b2Tv=5b_2^{\mathsf T}v=5, tetapi angka-angka tersebut tidak memiliki interpretasi jalan pintas tadi.

Selesaikan kombinasi yang mendefinisikan koordinat:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

Baris kedua memberikan c2=3c_2=3; substitusi ke baris pertama memberikan c1+3=2c_1+3=2, sehingga c1=−1c_1=-1. Koordinat sebenarnya adalah (−1,3)(-1,3).

Question 6

Seorang kolega berkata bahwa vektor nol adalah arah ortonormal yang sah karena hasil kali titiknya dengan setiap vektor bernilai nol. Apa yang salah dari penalaran itu?

Show the step-by-step solution

Pernyataan tentang hasil kali titik itu benar secara aljabar: 0Tx=00^{\mathsf T}x=0. Namun vektor ortonormal juga harus memiliki norma 1, sedangkan

∥0∥2=0.\lVert0\rVert_2=0.

Tidak ada arah yang dapat dinormalisasi, karena membaginya dengan normanya berarti membagi dengan nol. Jadi vektor nol dikecualikan dari basis ortonormal meskipun secara aljabar ia ortogonal terhadap setiap vektor dalam arti hasil kali dalam bernilai nol.

Question 7

Sampel terpusat x=(−1, 0, 1) dan y=(1, −2, 1) memiliki hasil kali titik nol. Apakah itu membuktikan bahwa x dan y independen secara statistik? Gunakan hubungan di antara keduanya untuk menentukan jawabannya.

Show the step-by-step solution

Hasil kali titiknya adalah

(−1)(1)+0(−2)+1(1)=0,(-1)(1)+0(-2)+1(1)=0,

sehingga kovarians empirisnya nol menurut konvensi sampel terpusat. Namun setiap nilai yy ditentukan oleh xx melalui y=3x2−2y=3x^2-2. Itu adalah hubungan nonlinear yang deterministik, sehingga peubah-peubah tersebut tidak independen. Hasil kali titik nol menyingkirkan pergerakan linear bersama yang terukur pada sampel ini; hasil itu tidak menyingkirkan dependensi nonlinear.

Question 8

Dalam kode NumPy, U menyimpan arah basis sebagai kolom. Sebuah bug mengganti coordinates = U.T @ v menjadi coordinates = U @ v. Pemeriksaan apa yang seharusnya menangkap kesalahan itu, dan mengapa U.T adalah pembaca yang benar?

Show the step-by-step solution

Pemeriksaan pembangunan kembali harus membandingkan U @ coordinates dengan v menggunakan np.allclose. Persamaan koordinat yang dimaksud adalah

c=UTv,c=U^{\mathsf T}v,

karena entri ke-jj adalah hasil kali titik kolom uju_j dengan vv. Kemudian,

Uc=U(UTv)=vUc=U(U^{\mathsf T}v)=v

untuk basis ortonormal lengkap. Mengganti UTU^{\mathsf T} dengan UU menghitung kombinasi linear yang berbeda dari baris dan kolom; hasilnya mungkin tetap berupa vektor dengan bentuk yang benar, tetapi perbandingan pembangunan kembali akan menunjukkan bahwa hasil itu tidak berisi koordinat hasil kali dalam yang dimaksud.

Sumber

  1. Mathematics for Machine Learning book PDF, Section 3.5
  2. NumPy documentation: numpy.inner
  3. NumPy documentation: numpy.linalg.norm
  4. scikit-learn documentation: PCA