Span: Prediksi yang Dapat Dicapai Model Linear

Aturan prediksi linear dapat menyesuaikan bobot sesuka hati, tetapi tetap bisa gagal menangkap pola yang tidak dapat diekspresikan fiturnya. Batas ini terlihat di seluruh contoh pelatihan: setiap vektor prediksi merupakan jumlah berbobot dari kolom fitur. Semua jumlah berbobot itu membentuk himpunan yang disebut span.

Setelah mempelajari pelajaran ini, Anda akan dapat menjelaskan himpunan yang dapat dicapai, menghitung prediksi di dalamnya, dan menguji apakah sekumpulan nilai target yang diajukan mungkin dihasilkan oleh model.

Hasil belajar: Mengenali himpunan vektor yang dapat dicapai melalui kombinasi linear.

Pelajaran 29: Independensi linear menghilangkan redundansi menanyakan apakah arah fitur memberikan informasi yang berbeda. Di sini kita melanjutkan pertanyaan itu: kombinasi arah mana yang benar-benar dapat dicapai model? Bagian 2.5 dari buku resmi Mathematics for Machine Learning memperkenalkan kombinasi linear dan independensi linear, istilah yang diperlukan untuk definisi span pada pelajaran ini. Contoh prediksi, perhitungan, kode, visual, dan asesmen di sini bersifat orisinal.

Keluaran model berada dalam himpunan yang dapat dicapai

Misalkan sebuah dataset memiliki $n$ contoh dan $p$ fitur numerik. Masukkan nilai fitur $j$ untuk seluruh $n$ contoh ke dalam vektor kolom $\boldsymbol{x}_j\in\mathbb{R}^n$ . Matriks desain $X\in\mathbb{R}^{n\times p}$ menyusun kolom-kolom tersebut. Untuk vektor bobot $\boldsymbol{w}=(w_1,\ldots,w_p)^\mathsf{T}\in\mathbb{R}^p$ , model linear tanpa intersep memprediksi

\hat{\boldsymbol{y}}=X\boldsymbol{w} =w_1\boldsymbol{x}_1+\cdots+w_p\boldsymbol{x}_p.

Perkalian matriks-vektor melakukan sesuatu yang penting secara konseptual: operasi ini mencampur kolom fitur menggunakan bobot model. Koefisiennya dapat berubah, tetapi arah yang tersedia hanya kolom yang sudah ada di dalam $X$ .

Kalimat terakhir merupakan klaim kapasitas untuk dataset berhingga ini: span memuat tepat semua vektor prediksi yang dapat dihasilkan oleh bobot linear tanpa batasan. Klaim tersebut tidak berarti model dapat membuat setiap pemetaan yang mungkin untuk masukan di masa depan. Hal itu bergantung pada aturan fitur, parameternya, dan masukan yang akan ditemui.

Menghitung prediksi yang dapat dicapai

Pertimbangkan tiga contoh dan dua fitur:

X=\begin{bmatrix} 1&0\\ 0&1\\ 1&1 \end{bmatrix}, \qquad \boldsymbol{x}_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \quad \boldsymbol{x}_2=\begin{bmatrix}0\\1\\1\end{bmatrix}.

Setiap pasangan bobot $(a,b)$ menghasilkan

a\boldsymbol{x}_1+b\boldsymbol{x}_2 =a\begin{bmatrix}1\\0\\1\end{bmatrix} +b\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}a\\b\\a+b\end{bmatrix}.

Jadi, setiap vektor prediksi yang dapat dicapai berbentuk $[a,b,a+b]^\mathsf{T}$ . Koordinat ketiganya harus sama dengan jumlah dua koordinat pertama. Ini adalah bidang yang melewati titik nol di dalam $\mathbb{R}^3$ : tiga koordinat keluaran dicatat, tetapi hanya dua arah fitur yang mengisi bidang tersebut.

Pilih bobot, lalu uji target

Ambil bobot $\boldsymbol{w}=[2,-1]^\mathsf{T}$ . Kalikan setiap kolom fitur dengan bobotnya, lalu jumlahkan:

X\boldsymbol{w} =2\begin{bmatrix}1\\0\\1\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\0\\2\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\-1\\1\end{bmatrix}.

Hasilnya memenuhi aturan bidang: $1=2+(-1)$ . Sekarang uji apakah target $\boldsymbol{y}=[1,2,4]^\mathsf{T}$ dapat dihasilkan. Dua elemen pertamanya mengharuskan $a=1$ dan $b=2$ . Bobot tersebut akan menghasilkan elemen ketiga $a+b=3$ , bukan $4$ . Tidak ada pasangan bobot yang dapat menghasilkan target ini dengan dua fitur yang diberikan.

Kegagalan ini berasal dari batas fitur, bukan karena pencarian koefisien yang tepat belum cukup lama. Pengoptimal model dapat memilih bobot lain, tetapi tidak dapat keluar dari span kolom tanpa mengubah arah fitur atau bentuk model.

Ruang prediksi

Kolom fitur membatasi setiap prediksi

Dengan dua kolom fitur, model dapat mencapai bidang yang direntang keduanya. Vektor target berada di luar karena nilai ketiganya tidak sama dengan jumlah dua nilai pertama.

Bidang ini mewakili semua vektor [a, b, a + b]. Potongan bidang yang terbatas hanyalah jendela pengamatan; span terus memanjang tanpa batas ke setiap arah di dalam bidang. Target putus-putus melanggar aturan koordinat.

Kombinasi fitur dan keanggotaannya dalam span kolom
Vektor	Koordinat	Pemeriksaan span
Kolom fitur x₁	[1, 0, 1]	Di dalam: ketiga = pertama + kedua
Kolom fitur x₂	[0, 1, 1]	Di dalam: ketiga = pertama + kedua
Prediksi untuk w = [2, −1]	[2, −1, 1]	Di dalam: ketiga = pertama + kedua
Target yang diajukan	[1, 2, 4]	Di luar: 4 ≠ 1 + 2

Diagram ini menunjukkan aljabar yang sama dari sudut pandang model. Panah fitur utuh membentang menjadi bidang, dan setiap kombinasi berbobot darinya tetap berada di bidang itu. Target putus-putus berada di luarnya. Visual membantu membayangkan posisinya; persamaan $y_3=y_1+y_2$ adalah pengujian yang tepat.

Uji batasnya dengan perhitungan NumPy sederhana

Perhitungan model mengikuti definisi secara langsung. NumPy matmul menerapkan perkalian matriks-vektor, sehingga mengalikan $X$ dengan bobot menghasilkan vektor prediksi:

import numpy as np

X = np.array([[1, 0], [0, 1], [1, 1]])
weights = np.array([2, -1])
prediction = X @ weights
target = np.array([1, 2, 4])

print(prediction)  # [ 2 -1  1]
print(prediction[2] == prediction[0] + prediction[1])  # True
print(target[2] == target[0] + target[1])  # False

Baris pertama mengonfirmasi prediksi hasil perhitungan. Baris kedua menguji aturan yang harus dipenuhi semua vektor dalam span kolom ini. Baris ketiga menolak target yang diajukan dengan relasi eksak yang sama. Ini adalah pemeriksaan struktural; hasilnya tidak bergantung pada cara bobot dilatih.

Sudut pandang ini juga menjelaskan batasan yang lazim dalam regresi linear. Panduan model linear scikit-learn mendefinisikan prediksi sebagai jumlah berbobot fitur, dengan intersep opsional. Prosedur pencocokan dapat berusaha mengurangi galat, tetapi pada contoh dalam pelajaran ini model tanpa intersep tetap hanya memiliki prediksi di dalam $\operatorname{Col}(X)$ . Jika setiap kolom fitur redundan, span mungkin tidak bertambah saat fitur baru ditambahkan; jika kolom baru menunjuk ke arah yang benar-benar baru, kolom tersebut dapat memperluas himpunan yang dapat dicapai.

Span berbicara tentang arah yang tersedia

Span mencakup setiap nilai koefisien real, termasuk bobot nol dan negatif. Ini penting: jika hanya kombinasi positif yang dipertimbangkan, himpunannya lebih kecil dan sering kali berupa kerucut, bukan span penuh. Regresi linear standar tanpa batasan mengizinkan koefisien positif maupun negatif. Batasan dapat membatasi koefisien yang diizinkan, sedangkan regularisasi mengubah bobot yang disukai oleh objektif pelatihan; keduanya tidak mengubah span kolom yang didefinisikan oleh matriks fitur itu sendiri.

Jumlah kolom fitur saja tidak memberi tahu berapa banyak arah independen yang tersedia. Dua kolom bisa menunjuk sepanjang garis yang sama sehingga span-nya tetap berdimensi satu. Langkah berikutnya adalah menentukan kapan vektor baru menambahkan arah independen dan dapat memperluas span. Itulah pertanyaan dalam Pelajaran 29: Independensi linear menghilangkan redundansi.

Kebiasaan praktisnya sederhana: ketika model berulang kali meleset dari suatu pola, tanyakan apakah fiturnya dapat mengekspresikan keluaran yang diperlukan sebelum menyalahkan pengoptimal. Span memberi tahu vektor prediksi mana yang mungkin dicapai.