Kebebasan Linear Menghilangkan Redundansi pada Fitur AI

Model dapat menerima dua kolom fitur yang tampak seperti masukan berbeda, tetapi selalu naik dan turun bersama. Jika satu kolom merupakan kelipatan tepat dari kolom lainnya, model mendapat dua nama untuk satu arah. Prediksinya mungkin tetap terdefinisi dengan baik, tetapi bobot individual yang menghasilkannya tidak dapat ditentukan secara unik.

Kebebasan linear memberi kita uji yang tepat untuk redundansi itu. Setelah pelajaran ini, Anda dapat menemukan kombinasi koefisien nonnol yang menjumlahkan vektor menjadi nol, menjelaskan mengapa kombinasi itu menunjukkan arah yang berulang, dan memeriksa matriks fitur AI kecil dengan NumPy.

Pelajaran 17 memperkenalkan kombinasi linear sebagai jumlah berbobot. Pelajaran 28 menggunakan kombinasi tersebut untuk menggambarkan fitur terbatas. Bagian 2.5 dari Mathematics for Machine Learning resmi menggunakan operasi yang sama untuk menentukan apakah sekumpulan vektor memuat arah yang redundan. Situs pendamping para penulis menyebutkan bahwa PDF yang ditautkan adalah unduhan buku terkini. Matriks fitur, perhitungan, visual, kode, dan latihan di sini merupakan karya orisinal.

Cari kombinasi nonnol yang saling meniadakan

Misalkan kita memiliki vektor $\boldsymbol{x}_1,\ldots,\boldsymbol{x}_k$ dalam satu ruang vektor. Kita bertanya apakah beberapa koefisien dapat menggabungkannya menjadi vektor nol:

\lambda_1\boldsymbol{x}_1+\cdots+\lambda_k\boldsymbol{x}_k=\boldsymbol{0}.

Koefisien yang semuanya nol selalu berhasil. Pertanyaan yang berguna adalah apakah pilihan lain juga berhasil.

Hasil nol saja tidak membuktikan apa pun karena menetapkan semua koefisien ke nol selalu menghasilkan nol. Kebergantungan berarti ada kombinasi nontrivial: setidaknya satu koefisien tidak nol, tetapi arah-arah berbobotnya saling meniadakan. Salah satu vektor dalam kumpulan itu kemudian dapat ditulis ulang menggunakan vektor lain, sehingga kumpulan tersebut memuat arah linear yang berulang.

Uraikan pembatalannya langkah demi langkah

Ambil dua arah fitur:

\boldsymbol{u}= \begin{bmatrix}1\\2\end{bmatrix}, \qquad \boldsymbol{v}= \begin{bmatrix}2\\4\end{bmatrix}.

Vektor kedua adalah dua kali vektor pertama: $\boldsymbol{v}=2\boldsymbol{u}$ . Pilih koefisien $2$ dan $-1$ :

2\boldsymbol{u}-\boldsymbol{v} =2\begin{bmatrix}1\\2\end{bmatrix} -\begin{bmatrix}2\\4\end{bmatrix} =\begin{bmatrix}2-2\\4-4\end{bmatrix} =\begin{bmatrix}0\\0\end{bmatrix}.

Ini merupakan relasi nontrivial karena kedua koefisien tidak sama-sama nol. Relasi itu juga memberi penulisan ulang langsung: $\boldsymbol{v}=2\boldsymbol{u}$ . Salah satu vektor dapat dihapus tanpa mengubah kumpulan arah yang dapat dijangkau oleh kombinasi linear.

Pencarian koefisien di bawah ini menggunakan $\boldsymbol{u}=(1,2)$ dan, pada kondisi bergantung, $\boldsymbol{v}=(2,4)$ . Geser koefisien untuk melihat vektor-vektor berskala itu dijumlahkan. Ganti vektor kedua menjadi $(0,1)$ untuk membandingkannya dengan pasangan bebas linear. Hasil teks dan tabel mengulang koordinat yang digambar, sehingga perhitungan tetap tersedia tanpa harus menafsirkan warna atau bentuk.

Cari pasangan koefisien nontrivial yang jumlahnya menghasilkan vektor nol.

Pilih pasangan vektorPasangan segaris: u = (1, 2), v = (2, 4)Pasangan bebas linear: u = (1, 2), v = (0, 1)

Atur koefisien

Gunakan tombol panah saat slider mendapat fokus. Setiap langkah mengubah koefisien sebesar 0,25.

Koefisien a untuk vektor u+1Koefisien b untuk vektor v-0,5

Untuk a = +1 dan b = -0,5, a u + b v = (0, 0). Ini adalah kombinasi nol nontrivial, jadi pasangan ini bergantung linear.

kontribusi a u
kontribusi b v
jumlah a u + b v

Nilai pencarian koefisien saat ini
Besaran	Koordinat atau nilai
Koefisien a	+1
Koefisien b	-0,5
Vektor u	(+1, +2)
Vektor v	(+2, +4)
a u	(+1, +2)
b v	(-1, -2)
Jumlah a u + b v	(0, 0) — vektor nol

Slider hanya mencari koefisien dari −1 hingga 1. Pembatalan yang terlihat membuktikan kebergantungan; pencarian terbatas saja tidak dapat membuktikan kebebasan linear.

Perbandingan bebas linear membuat definisi ini konkret. Misalkan $\boldsymbol{p}=(1,2)$ dan $\boldsymbol{q}=(0,1)$ . Jika $a\boldsymbol{p}+b\boldsymbol{q}=\boldsymbol{0}$ , maka

a\begin{bmatrix}1\\2\end{bmatrix} +b\begin{bmatrix}0\\1\end{bmatrix} =\begin{bmatrix}a\\2a+b\end{bmatrix} =\begin{bmatrix}0\\0\end{bmatrix}.

Koordinat pertama mengharuskan $a=0$ . Substitusi ke koordinat kedua menghasilkan $b=0$ . Karena hanya koefisien trivial yang berlaku, pasangan ini bebas linear. Aljabar ini merupakan buktinya; kisi interaktif membantu menjelajahi dampak pilihan koefisien yang berbeda.

Temukan arah fitur berulang dalam model

Matriks desain menyimpan contoh pada baris dan fitur pada kolom. Misalkan model dengan tiga contoh menerima kolom-kolom berikut:

\boldsymbol{x}_1= \begin{bmatrix}1\\2\\3\end{bmatrix}, \qquad \boldsymbol{x}_2= \begin{bmatrix}2\\4\\6\end{bmatrix} =2\boldsymbol{x}_1, \qquad X= \begin{bmatrix} 1&2\\ 2&4\\ 3&6 \end{bmatrix}.

Kolom-kolom ini bergantung linear karena $-2\boldsymbol{x}_1+\boldsymbol{x}_2=\boldsymbol{0}$ . Untuk model linear dengan bobot $w_1,w_2$ , prediksinya adalah

X\begin{bmatrix}w_1\\w_2\end{bmatrix} =\boldsymbol{x}_1w_1+\boldsymbol{x}_2w_2 =\boldsymbol{x}_1(w_1+2w_2).

Hanya bobot gabungan $w_1+2w_2$ yang memengaruhi prediksi ini. Misalnya, bobot $(1,0)$ dan $(-1,1)$ sama-sama membuat besaran tersebut bernilai $1$ , sehingga keduanya menghasilkan $(1,2,3)^\mathsf{T}$ . Prediksinya sama, tetapi data ini tidak dapat menentukan bobot individual secara unik. Ini salah satu cara konkret redundansi fitur dapat menyulitkan interpretasi.

matrix_rank dari NumPy melaporkan jumlah nilai singular yang melampaui toleransinya. Ini memberi pemeriksaan rank praktis untuk matriks floating-point:

import numpy as np

X = np.array([[1., 2.],
              [2., 4.],
              [3., 6.]])

print(X @ np.array([-2., 1.]))  # [0. 0. 0.]
print(np.linalg.matrix_rank(X)) # 1

Baris pertama memeriksa relasi yang ditunjukkan, sedangkan baris kedua melaporkan satu arah kolom yang bebas linear. Dokumentasi matrix_rank NumPy menjelaskan bahwa perhitungannya menggunakan nilai singular dan toleransi. Pembulatan floating-point dapat membuat nilai singular yang tepatnya nol tampak sangat kecil tetapi tidak nol, sehingga perangkat lunak menerapkan ambang batas.

Jika dua kolom hasil pengukuran hanya hampir merupakan kelipatan, bukan kelipatan tepat, uji matematika dan keputusan rank numerik perlu ditangani dengan cermat. NumPy mencatat bahwa toleransi bawaan dapat menganggap kolom yang cukup berdekatan sebagai kekurangan rank, dan ketidakpastian pengukuran dapat membenarkan ambang yang berbeda. Untuk pencocokan kuadrat terkecil, dokumentasi least-squares NumPy juga menjelaskan penentuan rank melalui batas nilai singular dan mengembalikan solusi bernorma minimum ketika beberapa solusi meminimalkan galat. Jadi, rank numerik merupakan penilaian berbasis toleransi terhadap data dan perhitungan, bukan pernyataan bahwa dua fitur terukur identik secara simbolis.

Pemeriksaan cepat yang paling berguna langsung mengikuti definisi. Vektor nol membuat kumpulan bergantung linear. Kelipatan skalar tak nol menduplikasi suatu arah. Di $\mathbb{R}^d$ , kumpulan apa pun yang berisi lebih dari $d$ vektor pasti bergantung linear karena hanya ada $d$ arah bebas yang tersedia. Vektor yang berbeda tetap dapat bergantung linear, seperti ditunjukkan oleh $(1,2)$ dan $(2,4)$ .

Untuk contoh kecil yang eksak, selesaikan persamaan koefisien dengan tangan. Untuk matriks data yang lebih besar atau pengukuran desimal, periksa rank numeriknya dan nyatakan toleransi atau ketidakpastian yang menjadi dasar interpretasi. Setelah arah bebas linear ditemukan, pelajaran berikutnya menanyakan apa yang dapat dinyatakan oleh semua kemungkinan kombinasi linearnya: span.

Periksa pemahaman Anda

Question 1

Dalam definisi kebebasan linear, mengapa hanya koefisien yang semuanya nol boleh menghasilkan vektor nol?