Kursus Matematika untuk AI · Pelajaran 48 dari 180

Komplemen Ortogonal Menangkap Bagian yang Tersisa

Jelaskan arah yang ortogonal terhadap subruang, verifikasi normal bidang, dan pisahkan representasi AI menjadi sinyal yang dijelaskan serta galat residual dengan NumPy.

Bagikan artikel ini

Sebuah model dapat menjelaskan sebuah pengamatan dengan beberapa arah yang dipelajarinya, tetapi tetap menyisakan sesuatu. Bagaimana model itu dapat mengetahui apakah sisa tersebut merupakan arah yang benar-benar baru, bukan salinan tersembunyi dari sesuatu yang sudah dijelaskannya?

Komplemen ortogonal memberikan jawaban yang tepat. Komplemen ini mengumpulkan setiap arah yang memiliki hasil kali dalam nol dengan seluruh subruang, bukan hanya dengan satu vektor yang dipilih. Untuk bidang fitur dalam tiga dimensi, komplemennya adalah garis arah normal. Garis itu menjadi tempat yang jelas bagi komponen residual: komponen tersebut tidak memiliki tumpang tindih linear dengan bidang, tetapi tetap dapat memiliki ukuran tak nol dan informasi yang berguna.

Di akhir pelajaran ini, Anda akan mampu mendeskripsikan komplemen ortogonal, memeriksa dimensi dan basisnya, menafsirkan vektor normal sebuah bidang, serta menggunakan basis ortonormal di NumPy untuk memisahkan komponen yang dijelaskan dari residual.

Capaian pembelajaran: Mendeskripsikan arah yang ortogonal terhadap sebuah subruang.

Pelajaran ini dibangun di atas Pelajaran 045: Ortogonalitas Berarti Tidak Ada Tumpang Tindih Linear, yang menjadikan hasil kali dalam nol sebagai uji geometris, dan Pelajaran 036: Kernel dan Image Menjelaskan Kehilangan dan Jangkauan, yang menghubungkan subruang dengan informasi yang dapat hilang atau dicapai oleh pemetaan linear. Bagian 3.6 dari buku resmi Mathematics for Machine Learning menjadi rujukan kurikulum. Definisi, angka, visual, implementasi, hubungan dengan AI, dan penilaian di sini adalah karya asli.

Sebuah subruang memiliki sisa yang tegak lurus

Misalkan V=RDV=\mathbb{R}^D adalah ruang vektor Euclidean berdimensi DD. Misalkan UU adalah subruang berdimensi MM dari VV. Subruang adalah kumpulan vektor yang tertutup terhadap penjumlahan dan perkalian skalar; subruang memuat vektor nol dan semua kombinasi linear dari arah-arah basisnya.

Tiga fakta membuat komplemen berguna:

  • Jika UU berdimensi MM di dalam ruang berdimensi DD, maka dim⁡(U⊥)=D−M\dim(U^\perp)=D-M. Setiap arah independen di dalam UU memberikan satu kendala ortogonalitas.

  • UU dan U⊥U^\perp hanya beririsan pada vektor nol: U∩U⊥={0}U\cap U^\perp=\{0\}. Vektor tak nol tidak mungkin sekaligus berada di dalam subruang dan tegak lurus terhadap setiap vektor dalam subruang yang sama, karena hasil kali dalamnya dengan dirinya sendiri akan tak nol.

  • Dalam geometri Euclidean standar, setiap x∈RDx\in\mathbb{R}^D memiliki satu dekomposisi

    x=u+r,u∈U,r∈U⊥.x=u+r,\qquad u\in U,\quad r\in U^\perp.

    Suku pertama adalah bagian yang dapat dijelaskan oleh subruang. Suku kedua adalah sesuatu yang tidak dapat dijelaskan subruang melalui arah-arahnya sendiri.

Aturan dimensi adalah panduan menghitung, bukan jalan pintas untuk melewati definisi. Komplemen sebuah bidang di R3\mathbb{R}^3 berdimensi satu, tetapi komplemen sebuah garis di R3\mathbb{R}^3 adalah bidang berdimensi dua. “Komplemen ortogonal” tidak selalu berupa satu anak panah.

Sebuah bidang dan garis normalnya

Pertimbangkan bidang

U=span⁡{b1=[101],b2=[011]}⊂R3.U=\operatorname{span}\left\{ b_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, b_2=\begin{bmatrix}0\\1\\1\end{bmatrix} \right\}\subset\mathbb{R}^3.

Vektor sembarang dalam bidang ini adalah

αb1+βb2=[αβα+β].\alpha b_1+\beta b_2 =\begin{bmatrix}\alpha\\\beta\\\alpha+\beta\end{bmatrix}.

Jadi bidang tersebut terdiri dari vektor yang memenuhi x3=x1+x2x_3=x_1+x_2. Untuk mencari normal, cari n=(n1,n2,n3)n=(n_1,n_2,n_3) yang ortogonal terhadap kedua vektor basis:

nTb1=n1+n3=0,nTb2=n2+n3=0.n^{\mathsf T}b_1=n_1+n_3=0, \qquad n^{\mathsf T}b_2=n_2+n_3=0.

Dengan memilih n3=1n_3=1, diperoleh n1=n2=−1n_1=n_2=-1, sehingga salah satu normalnya adalah

n=[−1−11].n=\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

Setiap kelipatan skalar dari nn juga ortogonal terhadap kedua vektor basis. Karena UU berdimensi 22 dan ruang ambien berdimensi 33, komplemennya berdimensi 11; oleh karena itu

U⊥=span⁡{[−1−11]}.U^\perp=\operatorname{span}\left\{ \begin{bmatrix}-1\\-1\\1\end{bmatrix} \right\}.

Diagram menggunakan bidang untuk UU dan anak panah untuk arah normalnya. Tabelnya merupakan alternatif numerik lengkap terhadap gambar: tabel mencatat kedua uji ortogonalitas dan kesimpulan dimensi tanpa bergantung pada warna, perspektif, atau JavaScript.

Visual geometri statis

Subruang berdimensi dua dan komplemen berdimensi satunya

Anak panah gelap merentangkan U. Anak panah jingga adalah n = (−1, −1, 1), arah normal yang hasil kali titiknya dengan kedua vektor basis bernilai nol.

Bidang U dan arah normal n dalam ruang tiga dimensiDiagram tiga dimensi miring menampilkan jajaran genjang biru sebagai bidang U yang direntangkan oleh b₁ dan b₂. Anak panah merah muncul dari titik asal ke arah normal n. Tabel di bawah memberikan vektor eksak dan uji hasil kali titik.U: x₃ = x₁ + x₂b₁b₂n ∈ U⊥nᵀb₁ = 0 dan nᵀb₂ = 00
Pemeriksaan vektor dan ortogonalitas eksak pada visual.
VektorUji hasil kali titikInterpretasi
b₁ = (1, 0, 1)nᵀb₁ = −1 + 1 = 0Satu arah basis di U
b₂ = (0, 1, 1)nᵀb₂ = −1 + 1 = 0Satu arah basis di U
n = (−1, −1, 1)nᵀn = 1 + 1 + 1 = 3n merentangkan U⊥
x = (2, 1, 4)nᵀx = −2 − 1 + 4 = 1x memiliki komponen normal tak nol

Bidang memuat setiap kombinasi linear dari b₁ dan b₂. Komplemen adalah seluruh garis normal, termasuk kedua arah dan vektor nol—bukan hanya satu anak panah yang digambar di sini.

Sebuah bidang di ℝ³ memiliki komplemen ortogonal berdimensi satu. Garis normal menangkap arah yang tidak memiliki tumpang tindih hasil kali dalam dengan vektor mana pun di bidang.

Visual ini menggunakan gambar miring ruang tiga dimensi, sehingga sudut pada layar hanyalah representasi geometri. Aljabarlah yang membawa makna: normal tegak lurus terhadap setiap vektor di UU, karena setiap vektor di UU merupakan kombinasi linear dari b1b_1 dan b2b_2.

Contoh kerja: membagi pengamatan menjadi sinyal yang dijelaskan dan residual

Normal nn adalah arah yang berguna, tetapi panjangnya bukan satuan. Untuk membaca koordinat dengan jelas, gunakan dahulu arah ortonormal dari pelajaran sebelumnya. Gram–Schmidt yang diterapkan pada b1,b2b_1,b_2 menghasilkan basis ortonormal berikut untuk UU:

q1=12[101],q2=16[−121].q_1=\frac{1}{\sqrt{2}}\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad q_2=\frac{1}{\sqrt{6}}\begin{bmatrix}-1\\2\\1\end{bmatrix}.

Normal satuannya adalah

q3=13[−1−11].q_3=\frac{1}{\sqrt{3}}\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

Ketiga arah ini saling ortonormal, q1,q2q_1,q_2 merentangkan UU, sedangkan q3q_3 merentangkan U⊥U^\perp. Ambil pengamatan

x=[214].x=\begin{bmatrix}2\\1\\4\end{bmatrix}.

Karena basisnya ortonormal, setiap koefisien merupakan satu hasil kali dalam.

Perhitungan ini mengubah “dijelaskan versus tersisa” menjadi pernyataan geometris. Kata dijelaskan berarti “direkonstruksi dari subruang yang dipilih”, bukan “semua informasi yang berguna”. Residual dapat memuat fitur lain, noise, pola nonlinier, atau sinyal yang seharusnya diperiksa oleh model berikutnya.

Mengapa dekomposisinya unik

Keunikan mengikuti fakta tentang irisan, bukan pilihan koordinat yang kebetulan. Misalkan vektor yang sama memiliki dua dekomposisi:

x=u1+r1=u2+r2,u1,u2∈U,r1,r2∈U⊥.x=u_1+r_1=u_2+r_2, \qquad u_1,u_2\in U,\quad r_1,r_2\in U^\perp.

Susun ulang:

u1−u2=r2−r1.u_1-u_2=r_2-r_1.

Sisi kiri berada di UU karena subruang tertutup terhadap pengurangan. Sisi kanan juga berada di U⊥U^\perp untuk alasan yang sama. Maka vektor bersama ini berada di U∩U⊥U\cap U^\perp, yang hanya memuat 00. Jadi u1=u2u_1=u_2 dan r1=r2r_1=r_2.

Bukti yang sama menjelaskan mengapa kedua bagian tidak menghitung arah yang sama dua kali. Vektor tak nol tidak mungkin sekaligus menjadi arah yang dijelaskan di UU dan arah residual di U⊥U^\perp.

NumPy menjaga dimensi tetap terlihat

Simpan vektor basis ortonormal sebagai kolom matriks Q∈R3×2Q\in\mathbb{R}^{3\times2}. Pengamatan xx memiliki shape (3,)(3,), vektor koordinat QTxQ^{\mathsf T}x memiliki shape (2,)(2,), dan vektor yang dijelaskan hasil rekonstruksi Q(QTx)Q(Q^{\mathsf T}x) kembali ke shape (3,)(3,).

Kode berikut menggunakan numpy.asarray untuk menjadikan input sebagai array, operator perkalian matriks yang didokumentasikan oleh numpy.matmul untuk hasil kali matriks, numpy.linalg.norm untuk ukuran residual Euclidean, dan numpy.allclose untuk pemeriksaan dengan toleransi. atol eksplisit dan

rtol=0 membuat perbandingan nol yang dimaksud terlihat; NumPy memperingatkan bahwa toleransi absolut bawaan mungkin tidak tepat di dekat nol.

import numpy as np


def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
    x = np.asarray(x, dtype=float)
    Q = np.asarray(Q, dtype=float)
    if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
        raise ValueError('x must be (D,) and Q must be (D, M)')

    gram = Q.T @ Q
    if not np.allclose(
        gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
    ):
        raise ValueError('Q columns must be orthonormal')

    coordinates = Q.T @ x
    explained = Q @ coordinates
    residual = x - explained
    return coordinates, explained, residual


Q = np.array([
    [1 / np.sqrt(2), -1 / np.sqrt(6)],
    [0.0,             2 / np.sqrt(6)],
    [1 / np.sqrt(2),  1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])

coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)

print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))

Output yang telah diverifikasi adalah:

[[1. 0.]
 [0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333  0.333333]
0.57735
True
True

Matriks pertama adalah matriks Gram 2×22\times2 dari kolom-kolom tersebut. Bentuk identitasnya mengonfirmasi panjang satu dan ortogonalitas berpasangan antarkolom. Dua pemeriksaan terakhir menyatakan bahwa residual ortogonal terhadap kedua kolom QQ dan berada pada arah normal satuan. Fungsi ini tidak mencari titik terdekat atau membuktikan pencocokan kuadrat terkecil; fungsi ini menggunakan basis ortonormal yang telah diverifikasi untuk menampilkan dua blok koordinat. Dengan begitu, pelajaran ini tetap berfokus pada komplemen. Pelajaran tentang proyeksi berikutnya dapat menjelaskan makna titik terdekat.

Residual dipisahkan, bukan dihapus

Dalam sebuah representasi AI, misalkan UU adalah subruang arah fitur yang dipilih oleh encoder linear, subruang utama, atau keluarga fitur yang dirancang secara manual. Untuk input xx, dekomposisi x=u+rx=u+r memberikan:

  • u∈Uu\in U: komponen yang dapat diekspresikan oleh arah-arah yang dipilih;
  • r∈U⊥r\in U^\perp: komponen yang tidak terlihat oleh setiap skor linear yang hanya melihat sepanjang UU;
  • ∥r∥2\lVert r\rVert_2: ukuran bagian yang tersisa di bawah geometri ini.

Hal ini dapat meningkatkan interpretabilitas. Jika pembacaan linear hanya dibangun dari kolom-kolom QQ, skornya tidak dapat memperoleh kontribusi dari rr melalui hasil kali dalam dengan kolom-kolom tersebut, karena QTr=0Q^{\mathsf T}r=0. Ini adalah klaim tentang subruang, hasil kali dalam, dan representasi ini—bukan klaim bahwa residual tidak berguna. Lapisan nonlinier, metrik yang berbeda, atau dataset yang berbeda dapat mengungkap hubungan yang tidak ditangkap oleh pemisahan ortogonal saat ini.

Ada dua kasus batas yang perlu diingat:

  1. Jika U=RDU=\mathbb{R}^D, maka M=DM=D dan U⊥={0}U^\perp=\{0\}. Seluruh ruang dijelaskan, sehingga satu-satunya residual adalah nol.
  2. Jika U={0}U=\{0\}, maka M=0M=0 dan U⊥=RDU^\perp=\mathbb{R}^D. Tidak ada yang dijelaskan oleh subruang nol, sehingga setiap vektor menjadi residual.

Aturan dimensi juga mengasumsikan hasil kali titik standar. Jika sebuah sistem mendefinisikan hasil kali dalam berbobot, “ortogonal” berubah mengikuti metrik tersebut; normal dengan hasil kali titik biasa di atas tidak otomatis menjadi arah residual yang benar.

Pelajaran berikutnya memperluas pemisahan yang sama ke geometri titik terdekat pada sebuah subruang. Untuk sekarang, uji yang perlu diingat lebih sederhana: sebutkan ruang ambien, tuliskan basis untuk UU, periksa hasil kali dalam nol terhadap basis tersebut, dan perlakukan komplemen sebagai subruang semua arah residual yang diperbolehkan.

Periksa pemahaman Anda

Question 1

Misalkan U adalah subruang berdimensi M di R^D. Apa itu U⊥, dan berapa dimensinya?

Show the step-by-step solution

Berdasarkan definisi, U⊥U^\perp memuat setiap vektor z∈RDz\in\mathbb{R}^D yang hasil kali dalamnya dengan setiap u∈Uu\in U bernilai nol. Cukup menerapkan uji pada basis berisi MM vektor di UU karena hasil kali dalam terdistribusi pada kombinasi linear. Kondisi ortogonalitas yang independen itu menyisakan D−MD-M arah independen, sehingga dim⁡(U⊥)=D−M\dim(U^\perp)=D-M dalam geometri Euclidean biasa.

Question 2

Untuk U = span{(1, 0, 1), (0, 1, 1)}, uji n = (−1, −1, 1) dan nyatakan U⊥.

Show the step-by-step solution

Uji vektor basis pertama: nT(1,0,1)=−1+1=0n^\mathsf{T}(1,0,1)=-1+1=0. Uji vektor kedua: nT(0,1,1)=−1+1=0n^\mathsf{T}(0,1,1)=-1+1=0. Karena setiap vektor dalam UU adalah kombinasi linear dari kedua vektor basis itu, nn ortogonal terhadap seluruh UU. Kedua vektor basis independen, sehingga dim⁡(U)=2\dim(U)=2 di R3\mathbb{R}^3 dan dim⁡(U⊥)=1\dim(U^\perp)=1. Jadi U⊥=span⁡{(−1,−1,1)}U^\perp=\operatorname{span}\{(-1,-1,1)\}.

Question 3

Dengan bidang yang sama, tentukan apakah y = (2, 1, 3) memiliki komponen residual di U⊥. Tunjukkan ujinya.

Show the step-by-step solution

Bidang tersebut memenuhi x3=x1+x2x_3=x_1+x_2. Untuk yy, 3=2+13=2+1, sehingga yy sudah berada di UU. Uji normal mengatakan hal yang sama: nTy=(−1)(2)+(−1)(1)+1(3)=−2−1+3=0n^\mathsf{T} y=(-1)(2)+(-1)(1)+1(3)=-2-1+3=0. Karena U⊥U^\perp adalah garis normal dan koordinat normalnya nol, komponen residualnya adalah vektor nol.

Question 4

Untuk x = (2, 1, 4), gunakan dekomposisi pada contoh kerja untuk memverifikasi bahwa residual ortogonal terhadap U tetapi tidak nol.

Show the step-by-step solution

Dekomposisi memberikan r=(−1/3,−1/3,1/3)r=(-1/3,-1/3,1/3). Nilainya tidak nol karena norm Euclidean-nya adalah 1/9+1/9+1/9=1/3>0\sqrt{1/9+1/9+1/9}=1/\sqrt{3}>0. Periksa kedua arah basis: b1Tr=1(−1/3)+0+1(1/3)=0b_1^\mathsf{T}r=1(-1/3)+0+1(1/3)=0 dan b2Tr=0+1(−1/3)+1(1/3)=0b_2^\mathsf{T}r=0+1(-1/3)+1(1/3)=0. Jadi residual tersebut adalah arah tak nol yang nyata di U⊥U^\perp, bukan ketiadaan informasi.

Question 5

Mengapa memeriksa vektor kandidat terhadap hanya satu vektor di U tidak cukup ketika U adalah bidang?

Show the step-by-step solution

Ortogonalitas terhadap satu vektor hanya menghilangkan satu tumpang tindih linear. Sebuah vektor dapat tegak lurus terhadap b1b_1 tetapi tetap memiliki hasil kali titik tak nol dengan b2b_2, sehingga vektor itu tidak tegak lurus terhadap setiap kombinasi di bidang tersebut. Agar termasuk dalam U⊥U^\perp, kandidat harus lulus uji hasil kali titik nol untuk setiap arah basis UU. Jika uji basis itu lulus, sifat distributif mencakup setiap kombinasi linear.

Question 6

Dalam kode NumPy, Q berbentuk (D, M). Apa bentuk Q.T @ x, Q @ (Q.T @ x), dan x − Q @ (Q.T @ x)?

Show the step-by-step solution

QQ berbentuk (D,M)(D,M) dan xx berbentuk (D,)(D,). Transposenya berbentuk (M,D)(M,D), sehingga QTxQ^\mathsf{T}x berbentuk (M,)(M,): satu koefisien untuk setiap arah basis. Mengalikan QQ dengan vektor koefisien itu mengembalikan bentuk (D,)(D,), yaitu komponen yang dijelaskan. Mengurangkan dua vektor berbentuk (D,)(D,) menghasilkan residual berbentuk (D,)(D,) di ruang ambien semula.

Question 7

Apa yang diverifikasi oleh pemeriksaan allclose pada Q.T @ Q, dan mengapa perbandingan == eksak buruk untuk pengujian bilangan floating-point?

Show the step-by-step solution

Untuk vektor basis yang disimpan sebagai kolom, QTQQ^\mathsf{T}Q adalah matriks Gram-nya. Hasil identitas berarti setiap kolom memiliki norm satu dan kolom yang berbeda memiliki hasil kali dalam nol, sehingga kolom-kolom itu ortonormal. Akar kuadrat dan perkalian floating-point dapat menyisakan nilai kecil seperti 2.2×10−162.2\times10^{-16} ketika aritmetika eksak menghasilkan nol. np.allclose membandingkan dalam toleransi eksplisit; toleransinya tetap perlu dipilih sesuai skala dan presisi data, bukan diterima secara buta.

Question 8

Sebuah model memberi label tidak berguna pada setiap residual di U⊥. Bagian mana dari kesimpulan itu yang mengikuti matematika, dan bagian mana yang melampaui matematika?

Show the step-by-step solution

Bagian yang sah bersifat sempit: residual r∈U⊥r\in U^\perp memiliki hasil kali dalam nol dengan setiap arah di UU, sehingga pembacaan linear yang hanya memberi skor pada arah tersebut tidak dapat memperoleh kontribusi dari rr melalui hasil kali dalam yang sama. Klaim bahwa rr tidak berguna melampaui yang didukung matematika. Residual dapat memiliki norm tak nol, mengodekan arah linear lain, membawa struktur nonlinier, atau menjadi berguna bagi lapisan berikutnya atau metrik yang berbeda.

Sumber

  1. Mathematics for Machine Learning book PDF, Section 3.6
  2. NumPy documentation: numpy.asarray
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose