Subruang untuk AI: Menguji Keluarga Fitur Terbatas

Encoder dapat menghasilkan ratusan koordinat untuk setiap masukan, meskipun representasi di sekitarnya hanya bergerak ke beberapa arah yang selaras. Untuk memahami pembatasan itu, sekumpulan titik saja tidak cukup. Kita memerlukan himpunan yang tetap valid ketika arahnya dijumlahkan dan diskalakan.

Himpunan itu disebut subruang vektor. Setelah pelajaran ini, Anda dapat melakukan uji subruang, membuktikan bahwa bidang yang melalui titik asal lolos uji, menolak contoh tandingan yang tampak meyakinkan, serta menafsirkan model linear berdimensi lebih rendah untuk offset representasi yang dipelajari.

Hasil belajar: Menguji syarat subruang dan menafsirkan wilayah berdimensi lebih rendah.

Pelajaran 27: Ruang vektor menentukan representasi yang sah menetapkan aturan ruang induk untuk penjumlahan vektor dan perkalian skalar. Subruang mempertahankan operasi yang sama, tetapi mempersempit vektor yang diizinkan. Situs pendamping resmi Mathematics for Machine Learning membahas subruang vektor pada Bagian 2.4.3 dalam PDF buku. Skenario representasi, perhitungan, kode, visual, dan asesmen di bawah ini merupakan karya orisinal.

Pembatasan harus tetap berlaku setelah operasi

Misalkan ruang vektor induk adalah $V=\mathbb{R}^3$ , dan $U\subseteq V$ adalah himpunan kandidat. Menyebut $U$ subruang berarti vektor tetap berada di dalam $U$ saat menggunakan penjumlahan dan perkalian skalar yang telah didefinisikan pada $V$ . Ruang induk menyediakan operasinya; himpunan bagian harus membuktikan bahwa ia tertutup terhadap operasi tersebut.

Pemeriksaan vektor nol cepat dan menentukan. Setiap subruang harus memuat nol karena ketertutupan skalar mensyaratkan $0u=0$ untuk setiap $u\in U$ . Ketertutupan penjumlahan berarti dua arah yang diizinkan dapat digabungkan. Ketertutupan skalar berarti arah yang diizinkan tetap diizinkan saat diperbesar, diperkecil, dibalik, atau dijadikan nol.

Uji kombinasi linear yang ringkas merangkum semua syarat itu. Ambil $\alpha=\beta=1$ untuk memperoleh penjumlahan, ambil $\beta=0$ untuk memperoleh perkalian skalar, dan jadikan kedua koefisien nol untuk memperoleh vektor nol. Operasi kombinasi linear ini sama dengan yang diperkenalkan pada Pelajaran 17, kini digunakan untuk menguji keanggotaan seluruh keluarga vektor.

Contoh: bidang yang melalui titik asal

Perhatikan himpunan

U=\left\{ \begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}\in\mathbb{R}^3 :x_3=x_1+x_2 \right\}.

Persamaan ini membatasi tiga koordinat yang ditampilkan dengan satu relasi. Pilih $x_1=a$ dan $x_2=b$ secara bebas; maka $x_3=a+b$ . Jadi, setiap vektor dalam $U$ berbentuk

\begin{bmatrix}a\\b\\a+b\end{bmatrix} =a\begin{bmatrix}1\\0\\1\end{bmatrix} +b\begin{bmatrix}0\\1\\1\end{bmatrix}.

Dua bilangan, $a$ dan $b$ , menentukan ketiga koordinat. Secara geometris, hasilnya adalah bidang di dalam ruang tiga dimensi. Bidang itu melalui titik asal karena $a=b=0$ menghasilkan $(0,0,0).

Sekarang lakukan setiap bagian uji. Tuliskan dua anggota sembarang sebagai

u=\begin{bmatrix}a\\b\\a+b\end{bmatrix}, \qquad v=\begin{bmatrix}c\\d\\c+d\end{bmatrix}.

Jumlah keduanya adalah

u+v =\begin{bmatrix}a+c\\b+d\\a+b+c+d\end{bmatrix}.

Koordinat ketiga sama dengan jumlah dua koordinat pertama: $(a+c)+(b+d)=a+b+c+d$ . Jadi, $u+v\in U$ . Perkalian $u$ dengan sembarang $\lambda$ real menghasilkan

\lambda u =\begin{bmatrix}\lambda a\\\lambda b\\\lambda(a+b)\end{bmatrix} =\begin{bmatrix}\lambda a\\\lambda b\\\lambda a+\lambda b\end{bmatrix},

yang juga memenuhi persamaan definisinya. Bersama pemeriksaan vektor nol, ini membuktikan bahwa $U$ adalah subruang $\mathbb{R}^3$ .

Peta bidang dalam ruang

Subruang mempertahankan setiap kombinasi linear pada bidang

Bidang biru memuat titik asal dan setiap vektor yang koordinat ketiganya sama dengan jumlah dua koordinat pertama. Panah utuh tetap pada bidang; panah putus-putus tidak memenuhi persamaan.

Bidang ini hanya memerlukan dua koordinat yang dipilih bebas meskipun vektornya ditulis dengan tiga koordinat. Melewati nol dan tertutup terhadap penjumlahan serta perkalian skalar menjadikannya subruang.

Pemeriksaan koordinat pada diagram bidang
Vektor	Koordinat	Uji keanggotaan	Hasil
u	[1, 0, 1]	1 = 1 + 0	Di dalam U
v	[0, 1, 1]	1 = 0 + 1	Di dalam U
u − v	[1, −1, 0]	0 = 1 + (−1)	Di dalam U
r	[1, 0, 0]	0 ≠ 1 + 0	Di luar U

Gambar menyarankan hasil, sedangkan aljabar membuktikannya: gambar hanya dapat menunjukkan beberapa panah, tetapi ketertutupan harus berlaku untuk setiap pasangan vektor dan setiap koefisien real.

Diagram ini menjawab pertanyaan geometris: “Ke mana fitur-fitur ini dapat bergerak?” Bidang tersebut berdimensi lebih rendah daripada ruang induknya karena satu koordinat ditentukan oleh dua koordinat lainnya. Namun, pembuktian lebih penting daripada gambar perspektif. Beberapa panah yang berakhir di bidang tidak dapat membuktikan ketertutupan untuk tak terhingga banyak vektor yang mungkin.

Tiga himpunan menarik yang gagal

Subruang adalah himpunan bagian yang istimewa. Bentuk, simetri, dan tampilan datar saja tidak cukup.

Pertama, geser bidang contoh sejauh satu satuan:

W=\{x\in\mathbb{R}^3:x_3=x_1+x_2+1\}.

Ini tetap merupakan bidang datar, tetapi $(0,0,0)$ gagal memenuhi persamaan karena $0\neq0+0+1$ . Jadi, $W$ bukan subruang vektor. Perkalian skalar juga memperlihatkan masalahnya: jika $w\in W$ , maka $2w$ umumnya memenuhi $x_3=x_1+x_2+2$ , bukan persamaan yang mendefinisikan $W$ .

Kedua, vektor dengan panjang satu tidak membentuk subruang. Embedding ternormalisasi $e$ dapat memenuhi $\lVert e\rVert=1$ , sedangkan panjang $2e$ adalah $2$ dan panjang $0e$ adalah $0$ . Himpunan ini tidak tertutup terhadap perkalian skalar dan tidak memuat vektor nol. Karena itu, embedding ternormalisasi yang dibahas pada Pelajaran 27 dapat berguna sebagai masukan model tanpa membentuk ruang vektor atau subruang.

Ketiga, kumpulan data berhingga biasanya bukan subruang. Meskipun setiap representasi yang tercatat memenuhi $x_3=x_1+x_2$ , baris yang tersimpan belum tentu mencakup jumlah, negatif, atau semua perkalian skalar realnya. Keluarga yang didefinisikan oleh kendala $U$ adalah subruang; sampel berhingga yang digunakan untuk menemukan atau mengestimasinya hanyalah himpunan bagian dari $U$ .

NumPy dapat memeriksa contoh, bukan menggantikan pembuktian

Untuk bidang contoh, simpan kedua arah pembangkit sebagai baris. Setiap baris coefficients memberi tahu NumPy berapa banyak dari tiap arah yang harus digabungkan:

import numpy as np

directions = np.array([
    [1.0, 0.0, 1.0],
    [0.0, 1.0, 1.0],
])

coefficients = np.array([
    [2.0, -1.0],
    [-1.0, 3.0],
    [0.5, 0.25],
])

offsets = coefficients @ directions
constraint = np.array([1.0, 1.0, -1.0])
constraint_residuals = offsets @ constraint

print(offsets)
print(constraint_residuals)
print(np.allclose(
    constraint_residuals,
    0.0,
    rtol=0.0,
    atol=1e-12,
))

Keluaran adalah

[[ 2.   -1.    1.  ]
 [-1.    3.    2.  ]
 [ 0.5   0.25  0.75]]
[0. 0. 0.]
True

@ pertama membentuk tiga kombinasi linear. @ kedua menghitung $x_1+x_2-x_3$ untuk setiap hasil. Dokumentasi NumPy matmul menjelaskan aturan bentuk yang diterapkan oleh @; di sini, matriks koefisien $3\times2$ dikalikan matriks arah $2\times3$ menghasilkan tiga vektor dalam $\mathbb{R}^3$ .

Contoh eksak ini menghasilkan nol, tetapi aktivasi model nyata menggunakan aritmetika presisi terbatas. Dokumentasi NumPy allclose menjelaskan perbandingan toleransi dan memperingatkan bahwa toleransi absolut bawaannya mungkin tidak sesuai untuk nilai yang jauh lebih kecil dari satu. Menetapkan rtol=0.0 dan memilih atol secara eksplisit memperjelas uji nol yang dimaksud. Toleransi tetap harus sesuai dengan skala aktivasi dan galat yang dapat diterima aplikasi; 1e-12 sesuai untuk contoh float64 yang dibuat ini, bukan ambang universal.

Program ini memeriksa vektor yang dipilih terhadap kendala yang diketahui. Program ini tidak membuktikan bahwa sembarang kumpulan aktivasi model berada pada bidang tersebut. Klaim yang lebih luas itu memerlukan model yang telah di-fit, analisis residual, dan bukti bahwa pendekatan linear yang dipilih memadai untuk wilayah yang diteliti.

Manifold representasi biasanya hanya datar secara lokal

Misalkan encoder memetakan masukan $x$ ke representasi $h(x)\in\mathbb{R}^d$ . Pilih representasi jangkar $h_0$ dan amati offset di sekitarnya

\Delta h=h(x)-h_0.

Jika offset tersebut dapat didekati dengan baik oleh kombinasi sejumlah kecil arah, subruang $U$ memberikan model linear lokal yang berguna. Dalam koordinat asli, pendekatan tersebut adalah himpunan bergeser

h_0+U=\{h_0+u:u\in U\}.

Keluarga offset $U$ melalui titik nol. Potongan representasi yang bergeser $h_0+U$ melalui $h_0$ dan umumnya bukan subruang $\mathbb{R}^d$ . Pemusatanlah yang memisahkan arah yang sah dari lokasi absolut.

Sudut pandang ini merupakan pendekatan, bukan klaim bahwa setiap representasi yang dipelajari berada pada satu bidang global. Dalam makalah utama Yoshua Bengio tentang representasi mendalam, manifold learning dijelaskan sebagai pencarian wilayah berdimensi rendah dengan kepadatan tinggi beserta sistem koordinatnya. Makalah tersebut menyajikan PCA sebagai pendahulu linear manifold learning dan menjelaskan pula mengapa asumsi linear global dapat melewatkan struktur melengkung. Secara lokal, bidang dapat merangkum arah yang berubah di sekitar satu jangkar; lebih jauh, arah yang berguna dapat berputar atau galat pendekatan dapat membesar.

Bagi praktisi AI, hal ini menghasilkan aturan interpretasi yang konkret:

subruang menggambarkan keluarga offset yang diizinkan dan tertutup terhadap pencampuran serta penskalaan;
bidang bergeser menggambarkan kemungkinan representasi di dekat jangkar; dan
manifold representasi melengkung mungkin memerlukan bidang lokal berbeda di lingkungan yang berbeda.

Uji subruang memberi tahu apakah objek linear itu konsisten secara internal. Uji tersebut tidak memberi tahu apakah objek itu cocok dengan data, menangkap fitur kausal, atau mempertahankan informasi yang dibutuhkan tugas lanjutan.

Kasus batas mempertajam pengujian

Ada dua subruang yang mudah terlewat. Himpunan yang hanya memuat vektor nol, $\{0\}$ , memenuhi semua syarat: nol ditambah nol tetap nol, dan setiap skalar dikalikan nol menghasilkan nol. Seluruh ruang induk $V$ juga merupakan subruang dari dirinya sendiri. Keduanya disebut subruang trivial, tetapi berguna sebagai kasus batas saat memeriksa argumen.

Himpunan kosong gagal karena tidak memuat nol. Himpunan yang hanya berisi satu vektor tak nol, $\{u\}$ , juga gagal pada bilangan real: $2u$ tidak berada di dalamnya kecuali jika $u=0$ . Sebaliknya, seluruh garis $\{\lambda u:\lambda\in\mathbb{R}\}$ lolos karena mencakup setiap perkalian real, jumlahnya, dan nol.

Subruang memberikan bahasa yang tepat untuk keluarga fitur terbatas. Setelah suatu himpunan lolos uji, setiap kombinasi linear tetap sah. Pelajaran berikutnya mengajukan pertanyaan berbeda tentang arah yang digunakan untuk mendeskripsikan himpunan itu: apakah sebagian di antaranya redundan.

Periksa pemahaman

Pertanyaan 1

Apa tiga syarat yang harus dipenuhi himpunan bagian tak kosong U dari ruang vektor real agar menjadi subruang?