Kursus Matematika untuk AI · Pelajaran 51 dari 180
Matriks Proyeksi Mentransformasi Seluruh Dataset
Bangun matriks proyeksi ke garis, terapkan pada setiap baris dataset, dan verifikasi geometrinya dengan pemeriksaan NumPy untuk simetri dan idempoten.
Sebuah proyeksi dapat menjelaskan satu observasi dengan satu arah. Pertanyaan yang lebih berguna untuk pipeline AI adalah apa yang terjadi ketika observasi menjadi sebuah dataset: bisakah satu aturan linear kecil yang sama mentransformasi setiap baris secara konsisten?
Bisa. Matriks proyeksi menerapkan operasi titik terdekat yang sama pada setiap sampel. Matriks ini mempertahankan komponen sepanjang arah yang dipilih dan menghapus komponen ortogonal, sehingga sekumpulan titik menjadi representasi satu arah sementara setiap keluaran tetap memiliki jumlah koordinat seperti semula.
Di akhir pelajaran ini, Anda akan mampu membangun matriks proyeksi ke garis, menerapkannya pada dataset yang disimpan per baris, dan memeriksa dua identitas yang membuatnya menjadi proyeksi: simetri dan idempoten.
Capaian pembelajaran: Membangun dan memeriksa matriks proyeksi sederhana.
Pelajaran ini dibangun di atas Pelajaran 035: Matriks Merepresentasikan Pemetaan Linear, ketika matriks menjadi aturan yang dapat digunakan ulang, dan Pelajaran 050: Proyeksi Menemukan Titik Terdekat, ketika satu vektor diproyeksikan ke sebuah garis. Bagian 3.8 dari buku resmi Mathematics for Machine Learning mengembangkan konstruksi matriks proyeksi. Dataset, perhitungan, visual, implementasi NumPy, dan penilaian di sini adalah karya orisinal.
Mengubah proyeksi satu garis menjadi matriks
Misalkan adalah vektor arah tak nol, dan adalah garis melalui titik asal yang didefinisikannya. Untuk satu observasi vektor kolom , pelajaran sebelumnya memberikan
Skalar adalah hasil kali titik. Tulis ulang sisi kanan sehingga menjadi faktor terakhir:
Penataan ulang itu memperlihatkan sebuah aturan linear yang dapat digunakan ulang.
Matriks ini memiliki dua konsekuensi geometris langsung. Pertama,
jadi bersifat simetris. Kedua, setelah sebuah vektor mencapai garis, memproyeksikannya lagi tidak mengubah apa pun:
Ini disebut idempoten. Untuk melihat mengapa hal ini berlaku, misalkan . Maka
Simetri menjelaskan geometri sudut siku-siku; idempoten menjelaskan bahwa keluaran sudah menetap pada garis target. Tidak satu pun dari sifat ini menyatakan bahwa invertibel. Proyeksi satu arah biasanya membuang arah lainnya.
Menerapkan aturan yang sama pada dataset yang disimpan per baris
Data AI sering disimpan dengan satu sampel pada setiap baris. Misalkan
dengan adalah jumlah sampel dan adalah jumlah fitur. Karena simetris, perkalian di sebelah kanan menerapkan proyeksi vektor kolom pada transpose setiap baris:
Setiap baris tetap memiliki panjang , tetapi setiap baris berada pada garis satu dimensi . Data belum direduksi menjadi satu koordinat. Matriks koefisien
menyimpan satu koordinat untuk setiap sampel, dan rekonstruksinya adalah . Menyimpan praktis ketika kode berikutnya mengharapkan lebar fitur asli; menyimpan praktis ketika tujuannya adalah representasi satu angka yang ringkas.
Sekumpulan empat titik, ditransformasi dengan dua cara
Gunakan arah
Hasil kali luar dan matriks proyeksinya adalah
Ambil empat observasi dengan dua fitur sebagai baris:
Geometri: setiap baris berpindah ke U
- Observasi asli
- Observasi proyeksi
- Garis target U
Matriks: satu aturan untuk semua baris
Dengan sampel disimpan sebagai baris, kalikan X di sebelah kanan dengan P.
Y = X @ P
| Sampel | Asli xᵢ | Koefisien zᵢ | Proyeksi yᵢ | Residu xᵢ − yᵢ |
|---|---|---|---|---|
| x₁ | (3, 1) | 1.4 | (2.8, 1.4) | (0.2, −0.4) |
| x₂ | (1, 3) | 1 | (2, 1) | (−1, 2) |
| x₃ | (−2, −1) | −1 | (−2, −1) | (0, 0) |
| x₄ | (0, 4) | 0.8 | (1.6, 0.8) | (−1.6, 3.2) |
Plot titik menunjukkan geometrinya; tabel mempertahankan nilainya tanpa mengandalkan warna, skala, atau tampilan interaktif.
Visual ini memperlihatkan perbedaan yang berguna. Matriks adalah aturan untuk setiap masukan, bukan tabel pencarian untuk keempat titik ini. Baris baru apa pun dalam ruang fitur yang sama dapat dikalikan dengan yang sama, dan titik yang sudah berada pada tetap tidak berubah.
Memeriksa matriks dengan NumPy
outer milik NumPy menghitung hasil kali luar dua vektor, yang membangun pembilang . Fungsi matmul melakukan perkalian matriks; operator @ adalah singkatan array-nya. Karena itu, kita dapat menulis transformasi yang disimpan per baris sebagai X @ P dan menggunakan linalg.norm dengan axis=1 untuk mengukur panjang residu setiap baris.
allclose memeriksa kesamaan numerik dalam toleransi yang dipilih. Pemeriksaan di bawah ini tidak menggantikan aljabar: pemeriksaan ini menangkap kesalahan implementasi sambil mengakui bahwa aritmetika floating-point dapat meninggalkan sisa kecil, bukan nol secara harfiah.
import numpy as np
b = np.array([2.0, 1.0])
X = np.array(
[
[3.0, 1.0],
[1.0, 3.0],
[-2.0, -1.0],
[0.0, 4.0],
]
)
P = np.outer(b, b) / np.dot(b, b)
Y = X @ P
residuals = X - Y
residual_lengths = np.linalg.norm(residuals, axis=1)
tolerance = 1e-12
symmetric = np.allclose(P.T, P, rtol=0.0, atol=tolerance)
idempotent = np.allclose(P @ P, P, rtol=0.0, atol=tolerance)
already_projected = np.allclose(Y @ P, Y, rtol=0.0, atol=tolerance)
print(P)
print(Y)
print(residual_lengths)
print(symmetric, idempotent, already_projected)
Keluaran terverifikasi:
[[0.8 0.4]
[0.4 0.2]]
[[ 2.8 1.4]
[ 2. 1. ]
[-2. -1. ]
[ 1.6 0.8]]
[0.4472136 2.23606798 0. 3.57770876]
True True True
Tiga hasil boolean itu menjawab pertanyaan yang berbeda. symmetric memeriksa identitas transpose matriks, idempotent memeriksa , dan already_projected memeriksa apakah seluruh dataset yang ditransformasi tetap tidak berubah pada lintasan kedua. Panjang residu menunjukkan bahwa sebuah titik dapat berada pada garis target dengan galat nol, sementara titik lain dapat mempertahankan komponen ortogonal yang cukup besar.
Apa yang dipertahankan matriks—dan apa yang tidak dapat dipertahankannya
Untuk vektor apa pun, keluaran berada pada . Koefisien adalah bagian dari yang dapat dijelaskan oleh garis yang dipilih, sedangkan tegak lurus terhadap . Jadi, proyeksi tersebut adalah model satu dimensi dari observasi berdimensi .
Inilah bentuk dasar reduksi dimensionalitas: pilih ruang fitur berdimensi lebih rendah, pertahankan titik terdekat di ruang itu, dan ukur galat rekonstruksi yang tersisa. Dalam pipeline embedding atau fitur, sebuah arah dapat mewakili pola yang dipelajari dan dapat dipertahankan sebagai kekuatannya. Matriks proyeksi dapat menerapkan aturan representasi yang sama pada sebuah batch, tetapi pilihan arah tetap menentukan informasi apa yang dipertahankan. Residu kecil berarti “dekat menurut garis Euclidean ini”, bukan “makna sampel sudah tertangkap sepenuhnya”.
Kasus batas dan jebakan tata letak
Arah nol bukanlah garis. Jika , maka dan rumusnya membagi dengan nol. Fungsi produksi harus menolak masukan itu, bukan menghasilkan nilai nan atau diam-diam menyebut vektor nol sebagai arah.
Garis bergeser memerlukan pemusatan. Matriks di atas memproyeksikan ke garis yang melalui titik asal. Untuk garis afin , proyeksikan terlebih dahulu lalu tambahkan kembali :
Menerapkan langsung pada akan menggunakan garis yang salah. Untuk seluruh dataset, kurangi setiap baris dengan sebelum perkalian matriks dan tambahkan kembali sesudahnya.
Jangan biarkan orientasi penyimpanan memilih matematikanya untuk Anda. Untuk matriks baris gunakan ; untuk matriks kolom gunakan . Dataset yang ditransposisikan dapat membuat perkalian yang salah terlihat masuk akal sambil menukar “jumlah sampel” dan “jumlah fitur”. Periksa bentuknya sebelum menafsirkan keluaran.
Proyeksi satu vektor dari Pelajaran 050 menjadi operasi batch tanpa mengubah geometrinya. Pelajaran 052 akan menggunakan gagasan titik terdekat yang sama untuk subruang yang dibangkitkan oleh beberapa kolom, ketika matriks proyeksi dapat mempertahankan lebih dari satu arah yang dipelajari.
Periksa pemahaman Anda
Pertanyaan 1
Untuk b = (1, 2), bangun matriks proyeksi P = bbᵀ/(bᵀb) dan nyatakan bentuknya.
Tampilkan solusi langkah demi langkah
Pertama, hitung penyebutnya:
Kemudian bentuk hasil kali luar, dengan menempatkan sebagai faktor kiri dan sebagai faktor di atas:
Jadi
Karena memiliki dua koordinat, adalah matriks berukuran .
Pertanyaan 2
Dengan b = (2, 1) dan x = (1, 3), hitung koefisien proyeksi dan titik proyeksinya.
Tampilkan solusi langkah demi langkah
Hitung hasil kali titik dan panjang kuadratnya:
Koefisiennya adalah . Kalikan dengan arah tersebut:
Hasilnya berada pada karena merupakan kelipatan skalar dari .
Pertanyaan 3
Sebuah dataset X memiliki empat baris dan dua kolom fitur. Untuk proyeksi per baris ke P, apakah harus digunakan X @ P atau P @ X? Jelaskan dimensinya.
Tampilkan solusi langkah demi langkah
Bentuk adalah , dan matriks proyeksi untuk fitur berdimensi dua memiliki bentuk . Hasil kali
terdefinisi dan mempertahankan satu baris keluaran untuk setiap sampel. Jadi operasi per barisnya adalah X @ P. Hasil kali akan mencoba mengalikan matriks dengan matriks ; dimensi dalamnya, dan , tidak cocok. Jika sampel disimpan sebagai kolom dalam matriks , maka akan bekerja dari sebelah kiri.
Pertanyaan 4
Verifikasi idempoten untuk P = [[0.8, 0.4], [0.4, 0.2]] dengan menghitung P². Apa arti hasilnya bagi dataset yang telah diproyeksikan?
Tampilkan solusi langkah demi langkah
Kalikan matriks dengan dirinya sendiri:
Jadi . Lintasan kedua membiarkan setiap baris yang telah diproyeksikan tetap sama; prosesnya tidak terus mengecilkan dataset.
Pertanyaan 5
Mengapa matriks proyeksi garis bersifat simetris, dan bagaimana hubungannya dengan residu?
Tampilkan solusi langkah demi langkah
Matriksnya adalah
Penyebutnya adalah skalar, dan transpose pembilang membalik urutan faktornya:
Jadi . Secara geometris, proyeksi menggunakan hasil kali dalam Euclidean biasa, sehingga selisih memiliki hasil kali titik nol dengan . Simetri merupakan tanda aljabar dari proyeksi ortogonal bersudut siku-siku itu; simetri sendiri tidak berarti bahwa setiap vektor dipertahankan.
Pertanyaan 6
Seorang engineer berkata, “Karena P memiliki dua baris dan dua kolom, P mempertahankan dua arah independen.” Perbaiki pernyataan itu untuk arah dua dimensi tak nol b.
Tampilkan solusi langkah demi langkah
Bentuk matriks bukanlah jumlah arah independennya. Kedua kolom merupakan kelipatan skalar dari , sehingga kolom-kolomnya hanya merentangkan garis satu dimensi . Setiap komponen yang tegak lurus terhadap dihapus. Jadi matriks proyeksi dapat memiliki rank satu: matriks itu mempertahankan satu arah sambil menggunakan dua koordinat untuk menyimpan setiap titik keluaran.
Pertanyaan 7
Apa yang seharusnya dilakukan implementasi NumPy ketika b = [0.0, 0.0], dan mengapa menambahkan penyebut kecil bukanlah perbaikan yang setia?
Tampilkan solusi langkah demi langkah
Vektor nol tidak mendefinisikan sebuah garis, dan penyebutnya adalah . Implementasi harus menolaknya secara eksplisit, misalnya dengan pemeriksaan bahwa norma kuadrat lebih besar dari nol, dan menjelaskan bahwa masukannya tidak valid. Menambahkan bilangan kecil sembarang ke penyebut akan membuat matriks yang sangat besar atau tidak stabil untuk tugas geometris yang tidak terdefinisi. Regulator numerik mungkin tepat untuk masalah lain yang didefinisikan secara eksplisit, tetapi tidak mengubah vektor nol menjadi arah.
Pertanyaan 8
Untuk garis afin c + tb, mengapa matriks garis melalui titik asal P tidak dapat langsung diterapkan pada x? Berikan operasi dataset per baris yang telah dikoreksi.
Tampilkan solusi langkah demi langkah
Matriks memetakan ke garis yang melalui titik asal. Garis afin memiliki offset , sehingga vektor yang relevan adalah , bukan . Untuk setiap baris dataset, pusatkan terlebih dahulu, proyeksikan, lalu pulihkan offsetnya:
dengan adalah kolom berisi buah angka satu. Pengurangan dan penambahan dilakukan per baris. Menerapkan tanpa pemusatan akan memproyeksikan ke garis paralel yang melalui titik nol dan menjawab pertanyaan yang berbeda.