Kursus Matematika untuk AI · Pelajaran 51 dari 180

Matriks Proyeksi Mentransformasi Seluruh Dataset

Bangun matriks proyeksi ke garis, terapkan pada setiap baris dataset, dan verifikasi geometrinya dengan pemeriksaan NumPy untuk simetri dan idempoten.

Bagikan artikel ini

Sebuah proyeksi dapat menjelaskan satu observasi dengan satu arah. Pertanyaan yang lebih berguna untuk pipeline AI adalah apa yang terjadi ketika observasi menjadi sebuah dataset: bisakah satu aturan linear kecil yang sama mentransformasi setiap baris secara konsisten?

Bisa. Matriks proyeksi menerapkan operasi titik terdekat yang sama pada setiap sampel. Matriks ini mempertahankan komponen sepanjang arah yang dipilih dan menghapus komponen ortogonal, sehingga sekumpulan titik menjadi representasi satu arah sementara setiap keluaran tetap memiliki jumlah koordinat seperti semula.

Di akhir pelajaran ini, Anda akan mampu membangun matriks proyeksi ke garis, menerapkannya pada dataset yang disimpan per baris, dan memeriksa dua identitas yang membuatnya menjadi proyeksi: simetri dan idempoten.

Capaian pembelajaran: Membangun dan memeriksa matriks proyeksi sederhana.

Pelajaran ini dibangun di atas Pelajaran 035: Matriks Merepresentasikan Pemetaan Linear, ketika matriks menjadi aturan yang dapat digunakan ulang, dan Pelajaran 050: Proyeksi Menemukan Titik Terdekat, ketika satu vektor diproyeksikan ke sebuah garis. Bagian 3.8 dari buku resmi Mathematics for Machine Learning mengembangkan konstruksi matriks proyeksi. Dataset, perhitungan, visual, implementasi NumPy, dan penilaian di sini adalah karya orisinal.

Mengubah proyeksi satu garis menjadi matriks

Misalkan b∈Rdb\in\mathbb{R}^d adalah vektor arah tak nol, dan U=span⁡{b}U=\operatorname{span}\{b\} adalah garis melalui titik asal yang didefinisikannya. Untuk satu observasi vektor kolom x∈Rdx\in\mathbb{R}^d, pelajaran sebelumnya memberikan

proj⁡U(x)=xTbbTbb.\operatorname{proj}_{U}(x)=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b.

Skalar xTbx^{\mathsf T}b adalah hasil kali titik. Tulis ulang sisi kanan sehingga xx menjadi faktor terakhir:

xTbbTbb=bbTbTbx.\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}x.

Penataan ulang itu memperlihatkan sebuah aturan linear yang dapat digunakan ulang.

Matriks ini memiliki dua konsekuensi geometris langsung. Pertama,

PT=(bbTbTb)T=bbTbTb=P,P^{\mathsf T} =\left(\frac{bb^{\mathsf T}}{b^{\mathsf T}b}\right)^{\mathsf T} =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}=P,

jadi PP bersifat simetris. Kedua, setelah sebuah vektor mencapai garis, memproyeksikannya lagi tidak mengubah apa pun:

P2=P.P^2=P.

Ini disebut idempoten. Untuk melihat mengapa hal ini berlaku, misalkan c=bTbc=b^{\mathsf T}b. Maka

P2=bbTcbbTc=b(bTb)bTc2=bcbTc2=P.P^2=\frac{bb^{\mathsf T}}{c}\frac{bb^{\mathsf T}}{c} =\frac{b(b^{\mathsf T}b)b^{\mathsf T}}{c^2} =\frac{bc b^{\mathsf T}}{c^2}=P.

Simetri menjelaskan geometri sudut siku-siku; idempoten menjelaskan bahwa keluaran sudah menetap pada garis target. Tidak satu pun dari sifat ini menyatakan bahwa PP invertibel. Proyeksi satu arah biasanya membuang d−1d-1 arah lainnya.

Menerapkan aturan yang sama pada dataset yang disimpan per baris

Data AI sering disimpan dengan satu sampel pada setiap baris. Misalkan

X=[x1Tx2T⋮xmT]∈Rm×d,X=\begin{bmatrix} x_1^{\mathsf T}\\ x_2^{\mathsf T}\\ \vdots\\ x_m^{\mathsf T} \end{bmatrix}\in\mathbb{R}^{m\times d},

dengan mm adalah jumlah sampel dan dd adalah jumlah fitur. Karena PP simetris, perkalian di sebelah kanan menerapkan proyeksi vektor kolom pada transpose setiap baris:

Y=XP=[x1TPx2TP⋮xmTP].Y=XP =\begin{bmatrix} x_1^{\mathsf T}P\\ x_2^{\mathsf T}P\\ \vdots\\ x_m^{\mathsf T}P \end{bmatrix}.

Setiap baris YY tetap memiliki panjang dd, tetapi setiap baris berada pada garis satu dimensi UU. Data belum direduksi menjadi satu koordinat. Matriks koefisien

z=XbbTb∈Rmz=\frac{Xb}{b^{\mathsf T}b}\in\mathbb{R}^{m}

menyimpan satu koordinat untuk setiap sampel, dan rekonstruksinya adalah Y=zbTY=z b^{\mathsf T}. Menyimpan YY praktis ketika kode berikutnya mengharapkan lebar fitur asli; menyimpan zz praktis ketika tujuannya adalah representasi satu angka yang ringkas.

Sekumpulan empat titik, ditransformasi dengan dua cara

Gunakan arah

b=[21],bTb=22+12=5.b=\begin{bmatrix}2\\1\end{bmatrix}, \qquad b^{\mathsf T}b=2^2+1^2=5.

Hasil kali luar dan matriks proyeksinya adalah

bbT=[21][21]=[4221],P=15[4221]=[0.80.40.40.2].bb^{\mathsf T} =\begin{bmatrix}2\\1\end{bmatrix}\begin{bmatrix}2&1\end{bmatrix} =\begin{bmatrix}4&2\\2&1\end{bmatrix}, \qquad P=\frac15\begin{bmatrix}4&2\\2&1\end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}.

Ambil empat observasi dengan dua fitur sebagai baris:

X=[3113−2−104].X=\begin{bmatrix} 3&1\\ 1&3\\ -2&-1\\ 0&4 \end{bmatrix}.
Satu matriks proyeksi, empat baris datasetProyeksi garis yang sama memindahkan setiap observasi kuning ambar ke titik hijau pada U. Kartu matriks menunjukkan aturan yang diterapkan pada seluruh dataset yang disimpan per baris.

Geometri: setiap baris berpindah ke U

Titik asli dan titik proyeksi untuk dataset empat barisEmpat observasi kuning ambar dihubungkan oleh residu putus-putus ke titik proyeksi hijau pada garis U yang direntang oleh b sama dengan (2, 1). Tabel pendamping memberikan setiap titik asli, koefisien proyeksi, titik proyeksi, dan residu.U = span{b}x₁x₂x₁x₂x₃x₄
  • Observasi asli
  • Observasi proyeksi
  • Garis target U

Matriks: satu aturan untuk semua baris

P =154  22  1

Dengan sampel disimpan sebagai baris, kalikan X di sebelah kanan dengan P.

Y = X @ P

Nilai numerik persis sebagai alternatif aksesibel untuk titik yang digambarkan.
SampelAsli xᵢKoefisien zᵢProyeksi yᵢResidu xᵢ − yᵢ
x₁(3, 1)1.4(2.8, 1.4)(0.2, −0.4)
x₂(1, 3)1(2, 1)(−1, 2)
x₃(−2, −1)−1(−2, −1)(0, 0)
x₄(0, 4)0.8(1.6, 0.8)(−1.6, 3.2)

Plot titik menunjukkan geometrinya; tabel mempertahankan nilainya tanpa mengandalkan warna, skala, atau tampilan interaktif.

Visual ini memperlihatkan perbedaan yang berguna. Matriks adalah aturan untuk setiap masukan, bukan tabel pencarian untuk keempat titik ini. Baris baru apa pun dalam ruang fitur yang sama dapat dikalikan dengan PP yang sama, dan titik yang sudah berada pada UU tetap tidak berubah.

Memeriksa matriks dengan NumPy

outer milik NumPy menghitung hasil kali luar dua vektor, yang membangun pembilang bbTbb^{\mathsf T}. Fungsi matmul melakukan perkalian matriks; operator @ adalah singkatan array-nya. Karena itu, kita dapat menulis transformasi yang disimpan per baris sebagai X @ P dan menggunakan linalg.norm dengan axis=1 untuk mengukur panjang residu setiap baris.

allclose memeriksa kesamaan numerik dalam toleransi yang dipilih. Pemeriksaan di bawah ini tidak menggantikan aljabar: pemeriksaan ini menangkap kesalahan implementasi sambil mengakui bahwa aritmetika floating-point dapat meninggalkan sisa kecil, bukan nol secara harfiah.

import numpy as np

b = np.array([2.0, 1.0])
X = np.array(
    [
        [3.0, 1.0],
        [1.0, 3.0],
        [-2.0, -1.0],
        [0.0, 4.0],
    ]
)

P = np.outer(b, b) / np.dot(b, b)
Y = X @ P
residuals = X - Y
residual_lengths = np.linalg.norm(residuals, axis=1)

tolerance = 1e-12
symmetric = np.allclose(P.T, P, rtol=0.0, atol=tolerance)
idempotent = np.allclose(P @ P, P, rtol=0.0, atol=tolerance)
already_projected = np.allclose(Y @ P, Y, rtol=0.0, atol=tolerance)

print(P)
print(Y)
print(residual_lengths)
print(symmetric, idempotent, already_projected)

Keluaran terverifikasi:

[[0.8 0.4]
 [0.4 0.2]]
[[ 2.8  1.4]
 [ 2.   1. ]
 [-2.  -1. ]
 [ 1.6  0.8]]
[0.4472136  2.23606798 0.         3.57770876]
True True True

Tiga hasil boolean itu menjawab pertanyaan yang berbeda. symmetric memeriksa identitas transpose matriks, idempotent memeriksa P2=PP^2=P, dan already_projected memeriksa apakah seluruh dataset yang ditransformasi tetap tidak berubah pada lintasan kedua. Panjang residu menunjukkan bahwa sebuah titik dapat berada pada garis target dengan galat nol, sementara titik lain dapat mempertahankan komponen ortogonal yang cukup besar.

Apa yang dipertahankan matriks—dan apa yang tidak dapat dipertahankannya

Untuk vektor xx apa pun, keluaran PxPx berada pada UU. Koefisien z=(xTb)/(bTb)z=(x^{\mathsf T}b)/(b^{\mathsf T}b) adalah bagian dari xx yang dapat dijelaskan oleh garis yang dipilih, sedangkan x−Pxx-Px tegak lurus terhadap bb. Jadi, proyeksi tersebut adalah model satu dimensi dari observasi berdimensi dd.

Inilah bentuk dasar reduksi dimensionalitas: pilih ruang fitur berdimensi lebih rendah, pertahankan titik terdekat di ruang itu, dan ukur galat rekonstruksi yang tersisa. Dalam pipeline embedding atau fitur, sebuah arah dapat mewakili pola yang dipelajari dan zz dapat dipertahankan sebagai kekuatannya. Matriks proyeksi dapat menerapkan aturan representasi yang sama pada sebuah batch, tetapi pilihan arah tetap menentukan informasi apa yang dipertahankan. Residu kecil berarti “dekat menurut garis Euclidean ini”, bukan “makna sampel sudah tertangkap sepenuhnya”.

Kasus batas dan jebakan tata letak

Arah nol bukanlah garis. Jika b=0b=0, maka bTb=0b^{\mathsf T}b=0 dan rumusnya membagi dengan nol. Fungsi produksi harus menolak masukan itu, bukan menghasilkan nilai nan atau diam-diam menyebut vektor nol sebagai arah.

Garis bergeser memerlukan pemusatan. Matriks di atas memproyeksikan ke garis yang melalui titik asal. Untuk garis afin c+tbc+tb, proyeksikan x−cx-c terlebih dahulu lalu tambahkan kembali cc:

c+(x−c)TbbTbb.c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Menerapkan PP langsung pada xx akan menggunakan garis yang salah. Untuk seluruh dataset, kurangi setiap baris dengan cc sebelum perkalian matriks dan tambahkan kembali sesudahnya.

Jangan biarkan orientasi penyimpanan memilih matematikanya untuk Anda. Untuk matriks baris X∈Rm×dX\in\mathbb{R}^{m\times d} gunakan XPXP; untuk matriks kolom gunakan PXcolPX_{\mathrm{col}}. Dataset yang ditransposisikan dapat membuat perkalian yang salah terlihat masuk akal sambil menukar “jumlah sampel” dan “jumlah fitur”. Periksa bentuknya sebelum menafsirkan keluaran.

Proyeksi satu vektor dari Pelajaran 050 menjadi operasi batch tanpa mengubah geometrinya. Pelajaran 052 akan menggunakan gagasan titik terdekat yang sama untuk subruang yang dibangkitkan oleh beberapa kolom, ketika matriks proyeksi dapat mempertahankan lebih dari satu arah yang dipelajari.

Periksa pemahaman Anda

Pertanyaan 1

Untuk b = (1, 2), bangun matriks proyeksi P = bbᵀ/(bᵀb) dan nyatakan bentuknya.

Tampilkan solusi langkah demi langkah

Pertama, hitung penyebutnya:

bTb=12+22=5.b^{\mathsf T}b=1^2+2^2=5.

Kemudian bentuk hasil kali luar, dengan menempatkan bb sebagai faktor kiri dan bTb^{\mathsf T} sebagai faktor di atas:

bbT=[12][12]=[1224].bb^{\mathsf T} =\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}1&2\end{bmatrix} =\begin{bmatrix}1&2\\2&4\end{bmatrix}.

Jadi

P=15[1224]=[0.20.40.40.8].P=\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix} =\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}.

Karena bb memiliki dua koordinat, PP adalah matriks berukuran 2×22\times2.

Pertanyaan 2

Dengan b = (2, 1) dan x = (1, 3), hitung koefisien proyeksi dan titik proyeksinya.

Tampilkan solusi langkah demi langkah

Hitung hasil kali titik dan panjang kuadratnya:

xTb=1⋅2+3⋅1=5,bTb=22+12=5.x^{\mathsf T}b=1\cdot2+3\cdot1=5, \qquad b^{\mathsf T}b=2^2+1^2=5.

Koefisiennya adalah z=5/5=1z=5/5=1. Kalikan dengan arah tersebut:

proj⁡U(x)=zb=1(2,1)=(2,1).\operatorname{proj}_{U}(x)=zb=1(2,1)=(2,1).

Hasilnya berada pada UU karena merupakan kelipatan skalar dari bb.

Pertanyaan 3

Sebuah dataset X memiliki empat baris dan dua kolom fitur. Untuk proyeksi per baris ke P, apakah harus digunakan X @ P atau P @ X? Jelaskan dimensinya.

Tampilkan solusi langkah demi langkah

Bentuk XX adalah 4×24\times2, dan matriks proyeksi untuk fitur berdimensi dua memiliki bentuk 2×22\times2. Hasil kali

XP:(4×2)(2×2)⟶4×2XP:(4\times2)(2\times2)\longrightarrow4\times2

terdefinisi dan mempertahankan satu baris keluaran untuk setiap sampel. Jadi operasi per barisnya adalah X @ P. Hasil kali PXPX akan mencoba mengalikan matriks 2×22\times2 dengan matriks 4×24\times2; dimensi dalamnya, 22 dan 44, tidak cocok. Jika sampel disimpan sebagai kolom dalam matriks 2×42\times4, maka PP akan bekerja dari sebelah kiri.

Pertanyaan 4

Verifikasi idempoten untuk P = [[0.8, 0.4], [0.4, 0.2]] dengan menghitung P². Apa arti hasilnya bagi dataset yang telah diproyeksikan?

Tampilkan solusi langkah demi langkah

Kalikan matriks dengan dirinya sendiri:

P2=[0.80.40.40.2][0.80.40.40.2]=[0.64+0.160.32+0.080.32+0.080.16+0.04]=[0.80.40.40.2]=P.P^2 =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} \begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} =\begin{bmatrix} 0.64+0.16&0.32+0.08\\ 0.32+0.08&0.16+0.04 \end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}=P.

Jadi (XP)P=X(P2)=XP(XP)P=X(P^2)=XP. Lintasan kedua membiarkan setiap baris yang telah diproyeksikan tetap sama; prosesnya tidak terus mengecilkan dataset.

Pertanyaan 5

Mengapa matriks proyeksi garis bersifat simetris, dan bagaimana hubungannya dengan residu?

Tampilkan solusi langkah demi langkah

Matriksnya adalah

P=bbTbTb.P=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}.

Penyebutnya adalah skalar, dan transpose pembilang membalik urutan faktornya:

(bbT)T=bbT.(bb^{\mathsf T})^{\mathsf T}=bb^{\mathsf T}.

Jadi PT=PP^{\mathsf T}=P. Secara geometris, proyeksi menggunakan hasil kali dalam Euclidean biasa, sehingga selisih x−Pxx-Px memiliki hasil kali titik nol dengan bb. Simetri merupakan tanda aljabar dari proyeksi ortogonal bersudut siku-siku itu; simetri sendiri tidak berarti bahwa setiap vektor dipertahankan.

Pertanyaan 6

Seorang engineer berkata, “Karena P memiliki dua baris dan dua kolom, P mempertahankan dua arah independen.” Perbaiki pernyataan itu untuk arah dua dimensi tak nol b.

Tampilkan solusi langkah demi langkah

Bentuk matriks bukanlah jumlah arah independennya. Kedua kolom P=bbT/(bTb)P=bb^{\mathsf T}/(b^{\mathsf T}b) merupakan kelipatan skalar dari bb, sehingga kolom-kolomnya hanya merentangkan garis satu dimensi UU. Setiap komponen yang tegak lurus terhadap bb dihapus. Jadi matriks proyeksi 2×22\times2 dapat memiliki rank satu: matriks itu mempertahankan satu arah sambil menggunakan dua koordinat untuk menyimpan setiap titik keluaran.

Pertanyaan 7

Apa yang seharusnya dilakukan implementasi NumPy ketika b = [0.0, 0.0], dan mengapa menambahkan penyebut kecil bukanlah perbaikan yang setia?

Tampilkan solusi langkah demi langkah

Vektor nol tidak mendefinisikan sebuah garis, dan penyebutnya adalah bTb=0b^{\mathsf T}b=0. Implementasi harus menolaknya secara eksplisit, misalnya dengan pemeriksaan bahwa norma kuadrat lebih besar dari nol, dan menjelaskan bahwa masukannya tidak valid. Menambahkan bilangan kecil sembarang ke penyebut akan membuat matriks yang sangat besar atau tidak stabil untuk tugas geometris yang tidak terdefinisi. Regulator numerik mungkin tepat untuk masalah lain yang didefinisikan secara eksplisit, tetapi tidak mengubah vektor nol menjadi arah.

Pertanyaan 8

Untuk garis afin c + tb, mengapa matriks garis melalui titik asal P tidak dapat langsung diterapkan pada x? Berikan operasi dataset per baris yang telah dikoreksi.

Tampilkan solusi langkah demi langkah

Matriks PP memetakan ke garis yang melalui titik asal. Garis afin memiliki offset cc, sehingga vektor yang relevan adalah x−cx-c, bukan xx. Untuk setiap baris dataset, pusatkan terlebih dahulu, proyeksikan, lalu pulihkan offsetnya:

Y=(X−1cT)P+1cT,Y=(X-\mathbf{1}c^{\mathsf T})P+\mathbf{1}c^{\mathsf T},

dengan 1\mathbf{1} adalah kolom berisi mm buah angka satu. Pengurangan dan penambahan dilakukan per baris. Menerapkan XPXP tanpa pemusatan akan memproyeksikan ke garis paralel yang melalui titik nol dan menjawab pertanyaan yang berbeda.

Sumber

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.outer
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose