Kernel dan Image Menunjukkan Informasi yang Hilang dan Jangkauan Lapisan Linear

Proyeksi sebuah model dapat mengubah dua vektor fitur yang berbeda menjadi representasi yang sama. Setelah itu terjadi, lapisan berikutnya tidak dapat membedakan kedua input tersebut hanya dari representasi itu. Dua konsep menjelaskan efek ini secara tepat: kernel menunjukkan perubahan input yang dihapus oleh pemetaan linear, sedangkan image menjelaskan output yang dapat dihasilkannya.

Di akhir pelajaran ini, kamu akan dapat mencari kedua himpunan tersebut untuk sebuah matriks kecil dan menjelaskan apa yang diungkapkannya tentang hilangnya informasi dan output yang dapat direpresentasikan.

Hasil belajar: Temukan contoh sederhana null space dan image, lalu tafsirkan maknanya.

Pelajaran ini menghubungkan rank matriks dari Pelajaran 033 dengan representasi matriks untuk pemetaan linear dari Pelajaran 035. Bagian 2.7.3 dari Mathematics for Machine Learning memperkenalkan image dan kernel suatu pemetaan linear. Proyeksi, perhitungan, interpretasi AI, visual, dan pertanyaan di bawah ini adalah karya orisinal.

Satu proyeksi dapat menghapus arah sekaligus membatasi output

Perhatikan pemetaan $P: \mathbb{R}^3\to\mathbb{R}^3$ yang direpresentasikan oleh

Pemetaan ini mempertahankan dua koordinat pertama dan menetapkan koordinat ketiga menjadi nol. Kernel dari pemetaan linear $T:V\to W$ adalah himpunan input di $V$ yang dipetakan ke vektor nol di $W$ . Image-nya adalah himpunan output di $W$ yang dapat dihasilkan oleh pemetaan itu dari suatu input. Kedua himpunan ini berada di ruang yang berbeda: kernel berkaitan dengan input, sedangkan image berkaitan dengan output.

Di sini, kernel berarti null space dari suatu pemetaan linear. Dalam machine learning, “kernel” juga berarti fungsi yang membandingkan contoh pada metode kernel; itu konsep yang berbeda.

Untuk $P$ , input mencapai nol tepat ketika $x=0$ dan $y=0$ , sementara $z$ boleh bernilai apa saja. Jadi, kernel-nya adalah sumbu $z$ :

\ker(P)=\{(0,0,z):z\in\mathbb{R}\} =\operatorname{span}\{(0,0,1)\}.

Setiap output berbentuk $(x,y,0)$ , dan setiap vektor seperti itu dapat dicapai dengan input $(x,y,0)$ . Jadi, image-nya adalah bidang $xy$ :

\operatorname{Im}(P)=\{(x,y,0):x,y\in\mathbb{R}\} =\operatorname{span}\{(1,0,0),(0,1,0)\}.

Gambar ini memisahkan kedua pertanyaan tersebut. Arah kernel vertikal menandai variasi input yang lenyap; bidang image yang diarsir menandai output yang masih dapat dicapai.

Satu pemetaan, dua subruang yang berbedaP(x, y, z) = (x, y, 0): perubahan z menggerakkan input sepanjang kernel, sementara setiap output tetap berada pada bidang xy.

Ruang input ℝ³

x = (2, 1, 0)
x + k = (2, 1, 2)
k = (0, 0, 2)

Output yang dapat dicapai: Im(P)

Koordinat ketiga setiap output adalah 0

P(x) = P(x + k) = (2, 1, 0)

Vektor kernel menjelaskan input mana yang melebur

Ambil $x=(2,1,0)$ lalu tambahkan vektor kernel $k=(0,0,2)$ . Kedua input ini berbeda, tetapi nilai hasil pemetaannya sama:

Jadi, kernel bukanlah daftar input yang diabaikan matriks satu per satu. Kernel adalah kumpulan arah yang dapat dilalui input tanpa mengubah hasilnya. Jika model hanya menerima vektor hasil proyeksi, model tidak dapat memulihkan posisi awal input di sepanjang arah tersebut.

Image membatasi apa yang dapat diterima kode di tahap berikutnya

Rank $P$ yang sama adalah dua karena image-nya memiliki dua arah independen. Dimensi kernel-nya juga satu. Kedua angka ini berjumlah sama dengan dimensi ruang input:

\underbrace{\dim(\ker(P))}_{\text{nullity }1} +\underbrace{\dim(\operatorname{Im}(P))}_{\text{rank }2} =\underbrace{\dim(\mathbb{R}^3)}_{3}.

Inilah teorema rank-nullity untuk pemetaan linear dari ruang input berdimensi hingga. Teorema ini menghubungkan jumlah arah output independen dengan jumlah arah input independen yang dipetakan menjadi nol. Untuk matriks $m\times n$ yang bekerja pada vektor kolom, image adalah span kolom-kolomnya, kernel diperoleh dengan menyelesaikan $Ax=0$ , dan rank ditambah nullity sama dengan $n$ , yaitu jumlah koordinat input.

Angka terakhir itu penting saat membaca bentuk tensor dalam kode. Operator @ NumPy berarti perkalian matriks: matriks $m\times n$ dikalikan vektor dengan $n$ elemen menghasilkan vektor dengan $m$ elemen. Untuk proyeksi ini, perhitungan singkat berikut memastikan bahwa outputnya sama dan arah kernel lenyap:

import numpy as np

P = np.diag([1, 1, 0])
x = np.array([2, 1, 2])
k = np.array([0, 0, 2])

print(P @ x)        # [2 1 0]
print(P @ (x - k))  # [2 1 0]
print(P @ k)        # [0 0 0]

Pembedaan yang sama membantu mendiagnosis proyeksi yang dipelajari

Matriks bobot hasil pembelajaran juga memetakan satu vektor fitur ke vektor fitur lain. torch.nn.Linear dari PyTorch menerapkan pemetaan afin $y=xA^\mathsf{T}+b$ pada input yang disusun sebagai baris; menetapkan bias=False menyisakan pemetaan matriks saja. Dalam notasi vektor kolom, operasi yang sama adalah $Au+b$ . Pemetaan bobot menentukan perbedaan input mana yang lenyap: jika $A(u-v)=0$ , kedua input menghasilkan output yang sama karena bias yang sama saling meniadakan. Image pemetaan bobot menjelaskan arah output yang tersedia dari bobot; dengan bias, himpunan output lengkap adalah subruang yang bergeser, $b+\operatorname{Im}(A)$ (dokumentasi PyTorch).

Kernel dan image menjawab pertanyaan debugging yang berbeda. Kernel tak nol berarti beberapa vektor fitur berbeda menjadi tak dapat dibedakan setelah melewati lapisan ini. Image yang terbatas berarti kombinasi fitur output tertentu sama sekali tidak dapat dihasilkan. Pemetaan dari $\mathbb{R}^3$ ke $\mathbb{R}^2$ dapat memiliki kernel nontrivial sambil tetap mencapai setiap titik dalam ruang output dua dimensinya. Sebaliknya, pemetaan dari $\mathbb{R}^2$ ke $\mathbb{R}^3$ dapat mempertahankan semua perbedaan input sementara outputnya terletak pada sebuah bidang. Bentuk output matriks saja tidak dapat menjawab kedua pertanyaan itu; rank dan subruang yang sebenarnya yang memberi tahu kita.

Langkah berikutnya adalah mencari arah mana yang redundan sebelum memampatkan representasi. Jika pilihan itu dipelajari alih-alih ditentukan sebelumnya, memeriksa rank, kernel, dan image pemetaan bobot akan menunjukkan apa yang masih dapat dibedakan dan diekspresikan oleh model di tahap berikutnya.