Rank Matriks Menghitung Informasi Independen dalam Fitur AI

Sebuah dataset dapat memiliki tiga kolom fitur, tetapi hanya memuat dua arah variasi yang independen. Perbedaan ini penting saat model mencoba memberikan efek terpisah kepada fitur-fitur yang selalu berubah bersama. Rank matriks menghitung arah independen di dalam matriks, baik kita memeriksa kolom fitur maupun baris sampelnya.

Setelah menyelesaikan pelajaran ini, kamu akan dapat menghitung rank matriks dengan mencari pivot, menjelaskan mengapa sudut pandang baris dan kolom menghasilkan angka yang sama, serta membaca pratinjau nilai singular tanpa menganggap setiap nilai kecil sebagai nol persis.

Hasil belajar: Menghitung rank dan menghubungkan sudut pandang baris dengan kolom.

Pelajaran ini menggabungkan gagasan bentuk eselon baris dan dimensi: pivot menunjukkan arah independen, sedangkan rank menghitungnya. Bagian 2.6.2 dari Mathematics for Machine Learning mendefinisikan rank melalui baris dan kolom yang independen secara linear. Matriks data, penafsiran fitur, grafik nilai singular, perhitungan, dan latihan dalam pelajaran ini adalah karya orisinal.

Tiga kolom dapat memuat hanya dua arah

Bayangkan empat sesi yang mencatat menit penggunaan aplikasi seluler, menit penggunaan situs web, serta total menit aktif. Setiap sesi disimpan sebagai satu baris dan setiap pengukuran sebagai satu kolom:

X=\begin{bmatrix} 1&2&3\\ 2&4&6\\ 0&1&1\\ 1&3&4 \end{bmatrix} = \begin{bmatrix} \vert&\vert&\vert\\ \boldsymbol{x}_{\text{mobile}}& \boldsymbol{x}_{\text{web}}& \boldsymbol{x}_{\text{total}}\\ \vert&\vert&\vert \end{bmatrix} \in\mathbb{R}^{4\times3}.

Pada setiap baris, fitur ketiga dihitung dengan menjumlahkan waktu seluler dan waktu di situs web:

\boldsymbol{x}_{\text{total}} =\boldsymbol{x}_{\text{mobile}}+\boldsymbol{x}_{\text{web}}.

Jadi, ketiga kolom tersebut saling bergantung. Kolom total tetap berguna sebagai pengukuran bernama, tetapi tidak menambahkan arah linear baru pada matriks khusus ini. Dua kolom pertama independen: pada baris ketiga, hanya kolom situs web yang bernilai bukan nol, sehingga kelipatan bukan nol dari kolom situs web dapat disingkirkan. Lalu baris pertama menyingkirkan kelipatan bukan nol dari kolom seluler. Karena itu, dimensi ruang kolom adalah dua.

Di sini $m=4$ sesi dan $n=3$ fitur, jadi rank paling tinggi tiga. Kita telah menunjukkan bahwa ketiga kolom saling bergantung, sedangkan dua kolom pertama independen. Maka $\operatorname{rank}(X)=2$ .

Pivot pada baris digunakan untuk menghitung rank

Saat menyelesaikan sistem persamaan linear, operasi baris juga harus diterapkan pada ruas kanan agar solusinya tetap sama. Pada matriks fitur ini, eliminasi mempertahankan rank dan memperlihatkan pivot. Pertama, ganti baris 2 dengan baris 2 dikurangi dua kali baris 1, lalu ganti baris 4 dengan baris 4 dikurangi baris 1. Berikutnya, kurangi baris 3 dari baris 4 yang baru dan pindahkan baris ketiga yang bukan nol ke posisi kedua:

\begin{bmatrix} 1&2&3\\ 2&4&6\\ 0&1&1\\ 1&3&4 \end{bmatrix} \sim \begin{bmatrix} 1&2&3\\ 0&1&1\\ 0&0&0\\ 0&0&0 \end{bmatrix} \sim \begin{bmatrix} 1&0&1\\ 0&1&1\\ 0&0&0\\ 0&0&0 \end{bmatrix}.

Ada dua baris bukan nol dan dua kolom pivot, jadi rank-nya dua. Kolom pertama dan kedua dari matriks asli membentuk basis ruang kolomnya; kolom ketiga tidak memiliki pivot karena merupakan jumlah dua kolom pertama.

Sudut pandang baris langsung menghasilkan hitungan yang sama. Tuliskan baris sampel sebagai $\boldsymbol{r}_1,\ldots,\boldsymbol{r}_4$ . Baris kedua sama dengan $2\boldsymbol{r}_1$ , sedangkan baris keempat sama dengan $\boldsymbol{r}_1+\boldsymbol{r}_3$ . Baris pertama dan ketiga independen, sehingga dimensi ruang baris juga dua. Secara umum, rank baris dan rank kolom sama untuk setiap matriks berhingga, termasuk matriks persegi panjang. Transposisi menukar kedua ruang tersebut, tetapi tidak mengubah jumlah arah independen di dalamnya.

Nilai singular memberi pratinjau arah

Untuk matriks besar atau berisik, perangkat lunak biasanya memperkirakan rank dari dekomposisi nilai singular (SVD). SVD menyatakan matriks sebagai $X=U\Sigma V^\mathsf{T}$ , dengan elemen diagonal $\Sigma$ berupa nilai singular nonnegatif yang diurutkan dari terbesar ke terkecil. Setiap nilai menunjukkan seberapa kuat matriks bekerja sepanjang sepasang arah. Nilai nol persis berarti arah tersebut tidak ada.

Untuk contoh ini, nilai singularnya kira-kira $9.882$ , $0.581$ , dan nol (dengan kemungkinan selisih pembulatan floating-point). Membagi semuanya dengan nilai terbesar menghasilkan pratinjau yang tidak bergantung pada skala: $1.000$ , $0.059$ , dan kira-kira $0$ . Batang ketiga menghilang karena fitur total adalah jumlah persis dari fitur lainnya. Arah kedua lebih kecil daripada yang pertama, tetapi tetap bukan nol. Rasio ini bukan persentase varians yang dijelaskan: nilai singular menunjukkan skala, sedangkan kuadratnya adalah nilai eigen dari $X^\mathsf{T}X$ . Untuk data yang telah dipusatkan, kuadrat tersebut mengikuti varians sepanjang arah terkait, dengan faktor normalisasi bersama.

Pratinjau nilai singular

Dua arah tetap ada dalam matriks fitur

Setiap batang menunjukkan nilai singular yang dibagi dengan nilai terbesar. Arah ketiga bernilai nol hingga pembulatan floating-point karena waktu total merupakan jumlah fitur lainnya.

Arah pertama1.000
Arah kedua0.059
Arah ketiga≈ 0

Sebelum normalisasi, nilainya kira-kira 9.882, 0.581, dan 0. Arah dengan nilai kecil belum tentu merupakan arah nol; penentuan rank memerlukan aturan eksak atau numerik.

Grafik ini adalah pratinjau untuk satu matriks, bukan batas universal. NumPy matrix_rank menghitung nilai singular yang melampaui suatu toleransi. Secara default, toleransi tersebut diskalakan berdasarkan nilai singular terbesar, dimensi terbesar matriks, dan presisi floating-point tipe datanya. Cara ini menangani pembulatan pada hubungan yang eksak; toleransi berbeda mungkin lebih sesuai jika noise pengukuran lebih besar daripada galat floating-point. Rutinitas svd mengembalikan nilai singular dalam urutan menurun.

import numpy as np

X = np.array([
    [1, 2, 3],
    [2, 4, 6],
    [0, 1, 1],
    [1, 3, 4],
], dtype=float)

singular_values = np.linalg.svd(X, compute_uv=False)
rank_columns = np.linalg.matrix_rank(X)
rank_rows = np.linalg.matrix_rank(X.T)

print(X.shape)                              # (4, 3)
print(np.round(singular_values, 3))          # [9.882 0.581 0.   ]
print(rank_columns, rank_rows)               # 2 2

SVD floating-point dapat mengembalikan angka positif yang sangat kecil meskipun aritmetika eksak menghasilkan nol. Toleransi NumPy menggolongkan angka itu sebagai nol untuk estimasi rank. Tampilan 0. adalah keluaran yang telah dibulatkan, bukan klaim bahwa nilai singular yang dihitung setiap komputer selalu tepat nol hingga ke setiap bit.

Rank menunjukkan bobot model yang redundan

Model linear tanpa intersep dengan bobot $\boldsymbol{w}\in\mathbb{R}^3$ memprediksi hasil empat sesi sebagai $\hat{\boldsymbol{y}}=X\boldsymbol{w}$ . Misalkan bobot $(w_m,w_w,w_t)$ masing-masing untuk waktu seluler, web, dan total. Karena waktu total merupakan jumlah dua fitur pertama,

X\boldsymbol{w} = (w_m+w_t)\boldsymbol{x}_{\text{mobile}} + (w_w+w_t)\boldsymbol{x}_{\text{web}}.

Hanya dua bobot gabungan yang memengaruhi prediksi, meskipun model menyimpan tiga bobot. Untuk sembarang angka $c$ , mengganti $(w_m,w_w,w_t)$ dengan $(w_m+c,w_w+c,w_t-c)$ tidak mengubah prediksi mana pun. Pada dataset ini, rank dua berarti ketiga koefisien tidak dapat ditentukan secara unik hanya dari prediksi. Regularisasi dapat memilih satu kumpulan bobot, tetapi perhitungan rank saja tidak mengatakan fitur mana yang layak ditafsirkan secara kausal atau semantis.

Inilah penerapan AI-nya: rank mengukur keragaman fitur linear yang efektif dalam sebuah matriks data. Rank dapat mengungkap fitur turunan yang redundan sebelum fitur itu mempersulit penafsiran koefisien atau pencocokan kuadrat terkecil. Angka ini tidak mengukur seluruh informasi dalam dataset, memprediksi akurasi model, atau menangkap hubungan nonlinear. Perubahan pada baris data, definisi fitur, atau prapemrosesan dapat mengubah rank.

Ketergantungan yang nyaris terjadi perlu toleransi yang jelas

Total yang dibuat pada contoh ini merupakan jumlah yang eksak. Pengukuran nyata mungkin memenuhi $\boldsymbol{x}_3\approx\boldsymbol{x}_1+\boldsymbol{x}_2$ . Rank matematis eksaknya bisa tiga meskipun nilai singular terkecil sangat kecil. Rank numerik dapat menganggap arah itu dapat diabaikan jika nilainya berada di bawah toleransi yang dipilih. Laporkan toleransi dan skala data jika perbedaan ini memengaruhi keputusan.

Penskalaan fitur juga mengubah ukuran nilai singular. Mengalikan satu kolom fitur dengan konstanta bukan nol mempertahankan rank eksak, tetapi dapat mengubah rasio nilai singular yang digunakan untuk menilai rank numerik atau perkiraan. Karena itu, standardisasi bukan sekadar langkah kosmetik saat menafsirkan nilai singular kecil. Rank menjelaskan ketergantungan linear dalam matriks yang direpresentasikan dengan encoding pilihan; rank tidak memberikan takaran tetap informasi semantis untuk setiap kolom.

Jika matriks memiliki $p$ kolom fitur tetapi hanya $r$ arah independen, bentuk eselon baris menunjukkan kolom mana yang dapat menjadi basis, sementara nilai singular menunjukkan kekuatan numerik arah-arah tersebut. Langkah berikutnya adalah menanyakan ke mana matriks memetakan sesuatu dan arah input mana yang hilang: kernel dan image membuat kedua pertanyaan itu eksplisit.

Periksa pemahaman

Pertanyaan 1

Untuk matriks 5 × 3, berapa rank maksimum yang mungkin, dan apa arti rank 2 bagi kolom serta barisnya?