Pemetaan Linear Mempertahankan Kombinasi yang Dibutuhkan Model AI

Jaringan saraf berulang kali mengubah satu representasi menjadi representasi lain. Untuk memahami apa yang dilakukan sebuah lapisan, kita dapat mengajukan dua pertanyaan: jenis vektor apa yang boleh masuk, dan jenis vektor apa yang dapat keluar? Pemetaan linear menjawab keduanya sambil mempertahankan cara vektor digabungkan. Dengan begitu, kita dapat memandang bobot matriks sebagai transformasi antarruang dan mengenali dengan tepat bagian tempat jaringan memperkenalkan perilaku nonlinear.

Setelah menyelesaikan pelajaran ini, Anda dapat menguji apakah suatu pemetaan linear, menyebutkan ruang masukan dan keluarannya, serta membedakan transformasi matriks dalam lapisan neural dari fungsi aktivasinya.

Capaian belajar: Menguji linearitas dan menjelaskan ruang masukan serta keluaran suatu pemetaan.

Pelajaran ini melanjutkan aturan ruang vektor dari Pelajaran 027. Bagian 2.7 dari Mathematics for Machine Learning memperkenalkan pemetaan linear ketika kombinasi vektor mulai menghubungkan koordinat dan matriks. Perhitungan, contoh lapisan neural, visual, dan penilaian di sini merupakan materi orisinal.

Transformasi seharusnya menghormati cara masukannya digabungkan

Vektor dapat dijumlahkan dan diskalakan. Untuk dua ruang vektor real $V$ dan $W$ , pemetaan $T:V\to W$ disebut linear jika mempertahankan kedua operasi tersebut:

Di sini $u,v\in V$ dan $a,b\in\mathbb{R}$ . Hasilnya berada di $W$ , sedangkan koefisien di ruas kanan menskalakan keluaran yang bersesuaian.

Kita dapat menguji aturan gabungan ini sekaligus atau memisahkannya menjadi dua pemeriksaan:

T(u+v)=T(u)+T(v), \qquad T(au)=aT(u).

Pernyataan pertama berarti menjumlahkan dua masukan sebelum transformasi menghasilkan hal yang sama dengan mentransformasikan masing-masing masukan lalu menjumlahkannya. Pernyataan kedua berarti menskalakan masukan sebelum transformasi sama dengan menskalakan keluarannya menggunakan faktor yang sama. Keduanya harus berlaku untuk setiap masukan yang valid dan setiap skalar real, termasuk yang negatif.

Pemetaan linear membawa jumlah menjadi jumlah bayangannyaUntuk T(x₁, x₂) = (2x₁ + x₂, −x₁ + x₂), bayangan e₁ + e₂ sama dengan jumlah bayangan e₁ dan e₂.

Ruang masukan ℝ²

e₁ = (1, 0)
e₂ = (0, 1)
e₁ + e₂ = (1, 1)

Ruang keluaran ℝ²

T(e₁) = (2, −1)
T(e₂) = (1, 1)
T(e₁ + e₂) = (3, 0)

Uji kombinasi: T(e₁ + e₂) = T(e₁) + T(e₂)

Ketiga panah tersebut memperlihatkan satu pemeriksaan penjumlahan yang konkret. Di sini, $T(e_1+e_2)=(3,0)$ , sedangkan $T(e_1)+T(e_2)=(2,-1)+(1,1)=(3,0)$ . Visual memberi interpretasi geometris; rumusnya menjanjikan aturan umum yang harus berlaku untuk semua vektor dan skalar, bukan hanya untuk dua vektor basis ini.

Matriks memberi tahu ruang yang dihubungkan oleh pemetaan

Misalkan $A$ adalah matriks berukuran $m\times n$ , artinya memiliki $m$ baris dan $n$ kolom. Matriks ini mengalikan vektor kolom dengan $n$ koordinat dan menghasilkan vektor kolom dengan $m$ koordinat:

T: \mathbb{R}^n\to\mathbb{R}^m, \qquad T(x)=Ax.

Domain adalah himpunan masukan yang diizinkan oleh pemetaan; kodomain adalah ruang keluaran yang menjadi tujuan pemetaan. Untuk aturan matriks ini, masukan berada di $\mathbb{R}^n$ dan keluaran berada di $\mathbb{R}^m$ . Dimensinya tidak harus sama: pemetaan dapat memperluas vektor menjadi lebih banyak koordinat atau memampatkannya menjadi lebih sedikit.

Perkalian matriks bersifat linear karena distributif terhadap penjumlahan dan perkalian skalar. Untuk sembarang vektor $u,v$ sepanjang $n$ serta skalar $a,b$ ,

T(au+bv)=A(au+bv)=aAu+bAv=aT(u)+bT(v).

Sebagai contoh numerik kecil, gunakan

Petakan jumlah, lalu bandingkan dengan jumlah bayangan

A=\begin{bmatrix}2&1\\-1&1\end{bmatrix},\qquad u=\begin{bmatrix}1\\0\end{bmatrix},\qquad v=\begin{bmatrix}0\\1\end{bmatrix}.

Pertama, kalikan matriks dengan masing-masing masukan untuk memperoleh bayangannya:

T(u)=\begin{bmatrix}2\\-1\end{bmatrix},\qquad T(v)=\begin{bmatrix}1\\1\end{bmatrix}.

Lalu jumlahkan masukannya dan petakan hasilnya:

T(u+v)=A\begin{bmatrix}1\\1\end{bmatrix} =\begin{bmatrix}3\\0\end{bmatrix} =\begin{bmatrix}2\\-1\end{bmatrix}+\begin{bmatrix}1\\1\end{bmatrix} =T(u)+T(v).

Penskalaan bekerja dengan cara serupa. Untuk $a=-2$ ,

T(-2u)=A\begin{bmatrix}-2\\0\end{bmatrix} =\begin{bmatrix}-4\\2\end{bmatrix} =-2T(u).

Nilai negatif itu penting: pemeriksaan yang hanya menggunakan faktor positif tidak menetapkan aturan linearitas sepenuhnya.

Bias menggeser titik asal; aktivasi mengubah aturannya

Dalam kode machine learning, “lapisan linear” merupakan istilah praktis yang umum. Dalam matematika, rinciannya menentukan apakah operasinya linear. Untuk batch yang disusun per baris, PyTorch torch.nn.Linear menghitung $xA^\mathsf{T}+b$ dan menyertakan bias $b$ secara default. Jika biasnya tidak nol, aturannya affine: kombinasi dengan jumlah koefisien satu tetap terjaga, tetapi penskalaan atau penjumlahan sembarang umumnya tidak. Dokumentasi PyTorch menyebutnya transformasi affine dan memungkinkan bias dinonaktifkan dengan bias=False (dokumentasi torch.nn.Linear). Jika bobotnya berjumlah satu, pasangan berbobot tetap dipertahankan:

F(\lambda u+(1-\lambda)v) =\lambda Au+(1-\lambda)Av+b =\lambda(Au+b)+(1-\lambda)(Av+b).

Kesetaraan terakhir berlaku karena $\lambda b+(1-\lambda)b=b$ . Penjumlahan vektor biasa menggunakan koefisien $1$ dan $1$ , yang jumlahnya bukan satu, sehingga bias tidak saling menghapus pada $F(u+v)$ .

Vektor nol merupakan pemeriksaan cepat. Setiap pemetaan linear harus mengirim nol ke nol, karena $T(0)=T(0\cdot x)=0\cdot T(x)=0$ . Untuk aturan affine $F(x)=Ax+b$ ,

F(0)=A0+b=b.

Jika $b\ne0$ , maka $F$ bukan linear. Bias tidak membuat lapisan ini keliru; bias memberi model keleluasaan menggeser keluarannya bahkan ketika masukannya nol.

Jaringan neural menambahkan operasi lain setelah transformasi bobot. Pola yang umum ialah $h=\operatorname{ReLU}(Ax+b)$ , dengan ReLU mengganti setiap koordinat negatif menjadi nol. Operasi ini nonlinear. Misalnya, tetapkan $r(t)=\max(0,t)$ . Maka $r(-1+1)=r(0)=0$ , sedangkan $r(-1)+r(1)=0+1=1$ . Uji penjumlahannya gagal. Dokumentasi PyTorch menjelaskan torch.nn.ReLU sebagai operasi maksimum per elemen ini (dokumentasi ReLU).

Perbedaan ini menjelaskan mengapa jaringan menggabungkan langkah-langkah tersebut. Jika dua lapisan hanya berupa pemetaan linear, komposisinya tetap menjadi satu pemetaan linear: $B(Ax)=(BA)x$ . Lapisan tambahan mengubah matriksnya, tetapi tidak menciptakan aturan masukan-keluaran nonlinear. Aktivasi mencegah penyederhanaan tersebut dan memungkinkan jaringan merepresentasikan hubungan yang lebih beragam. Matriks bobot mencampur fitur masukan; aktivasi mengubah aturan yang diterapkan pada koordinat hasilnya.

Periksa transformasi dengan kode

Perhitungan yang sama dapat diperiksa menggunakan NumPy. Vektor kolom membuat konvensi matriks di sebelah kiri sesuai dengan penurunan di atas:

import numpy as np

A = np.array([[2, 1],
              [-1, 1]])
u = np.array([1, 0])
v = np.array([0, 1])

def T(x):
    return A @ x
print(T(u + v))              # [3 0]
print(T(u) + T(v))           # [3 0]
print(T(-2 * u))             # [-4  2]
print(-2 * T(u))             # [-4  2]

Untuk batch di PyTorch, vektor biasanya disimpan sebagai baris, sehingga matriks bobot pustaka ditransposisikan dalam rumus yang ditampilkan. Dimensi batch tetap sama, sedangkan dimensi fitur terakhir berubah dari in_features menjadi out_features:

import torch
from torch import nn

x = torch.tensor([[1.0, 0.0], [0.0, 1.0]])  # shape: (2 examples, 2 features)
linear_part = nn.Linear(2, 3, bias=False)
activation = nn.ReLU()

pre_activation = linear_part(x)  # shape: (2, 3); a linear map
hidden = activation(pre_activation)  # shape: (2, 3); nonlinear elementwise step

Pemetaan linear di sini mengubah setiap vektor fitur dari $\mathbb{R}^2$ menjadi vektor di $\mathbb{R}^3$ . Contoh ini menghilangkan bias sehingga operasi pertamanya benar-benar linear. Dengan bias default, PyTorch menyebut operasi itu affine. Aktivasi mempertahankan bentuk keluaran, tetapi gagal dalam uji kombinasi vektor. Kesamaan bentuk saja tidak dapat memberi tahu apakah suatu operasi linear; aturan aljabarnyalah yang menentukan.

Pemetaan linear tetap dapat kehilangan informasi

Linearitas tidak berarti bahwa pemetaan dapat dibalik, mempertahankan panjang, atau bahkan berguna untuk setiap tugas lanjutan. Matriks nol memetakan setiap masukan ke vektor nol dan tetap memenuhi kedua aturan linearitas. Pemetaan linear dari $\mathbb{R}^3$ ke $\mathbb{R}^2$ tidak mungkin bersifat satu-ke-satu: setidaknya satu arah informasi masukan harus hilang. Untuk menentukan apakah informasi terpelihara, kita memerlukan konsep lain seperti kemandirian linear, rank, dan inversibilitas.

Saat memeriksa blok neural, tuliskan ruang sebelum dan sesudah setiap operasi, lalu uji aturan yang diterapkannya. Perkalian matriks mentransformasikan kombinasi secara terprediksi; bias menggeser titik asal; aktivasi mengubah perilaku kombinasi. Perbedaan inilah yang perlu dibawa ke pelajaran berikutnya, yang membahas representasi matriks konkret dari pemetaan linear.

Periksa pemahaman

Pertanyaan 1

Sebutkan dua sifat yang harus dipenuhi pemetaan agar linear. Apa yang belum diuji oleh pemeriksaan penjumlahan vektor?