Transformasi Identitas dan Invers: Membalik Pemetaan Fitur

Bayangkan sebuah langkah prapemrosesan mencampurkan dua fitur sebelum keduanya masuk ke model AI. Setelah itu, Anda mungkin ingin memulihkan koordinat asli untuk debugging, laporan, atau model lain. Bagaimana Anda dapat mengetahui apakah transformasi tersebut benar-benar dapat dibalik, dan bagaimana membalikkannya tanpa membuat pilihan numerik yang rapuh?

Setelah menyelesaikan pelajaran ini, Anda akan dapat mengenali perilaku identitas, menghitung dan memverifikasi invers matriks kecil, membedakan invers dari transpose, mengidentifikasi kasus singular dan hampir singular, serta menjelaskan mengapa sistem linear biasanya diselesaikan secara langsung alih-alih dengan membentuk invers secara eksplisit.

Hasil pembelajaran: Mengenali perilaku identitas dan memverifikasi invers matriks kecil.

Pelajaran 20: Perkalian matriks-matriks menyusun transformasi dan batch menunjukkan bahwa suatu hasil kali dapat menyusun peta linear. Situs pendamping resmi Mathematics for Machine Learning mengembangkan operasi identitas, invers, dan transpose dalam Bagian 2.2 pada PDF buku, lalu menghubungkannya dengan sistem persamaan di Bagian 2.3. Notasi di sini mengikuti alur tersebut, tetapi angka, visual, skenario prapemrosesan, kode, dan pertanyaannya orisinal.

Identitas berarti “membiarkan koordinat tetap”

Untuk vektor kolom dua dimensi, matriks identitasnya adalah

Mengalikan dengan $I_2$ membuat setiap koordinat tetap tidak berubah. Jika $\boldsymbol{x}=[x_1,x_2]^{\mathsf T}$, maka

Angka 1 pada diagonal mempertahankan setiap koordinat, sedangkan angka 0 di luar diagonal mencegah satu koordinat berkontribusi pada koordinat lain. Identitas adalah versi matriks dari bilangan $1$: mengalikannya tidak mengubah apa pun, tetapi memberi kita target yang tepat untuk memeriksa apakah matriks lain sudah dibalik.

Kedua sisi itu penting. Perkalian matriks berurutan, jadi invers yang berguna harus mengembalikan identitas ketika dikalikan dari sisi mana pun, bukan hanya membuat satu vektor yang dipilih terlihat benar.

Invers membalik transformasi

Misalkan $A$ adalah matriks persegi. Invers, yang ditulis sebagai $A^{-1}$, adalah matriks yang memenuhi

Jika sebuah vektor fitur mula-mula menjadi $\boldsymbol{z}=A\boldsymbol{x}$, mengalikannya dengan $A^{-1}$ akan memulihkan masukan:

Ini adalah aturan pembatalan untuk matriks. Ini bukan klaim bahwa setiap matriks memiliki invers. Sebuah matriks harus mempertahankan cukup banyak arah yang independen agar invers dapat ada; kita akan melihat apa yang gagal ketika syarat itu tidak terpenuhi.

Visual tersebut menggunakan

Persegi satuan menjadi jajaran genjang di bawah $A$ dan kembali ke sudut-sudut yang sama di bawah $A^{-1}$. Tabelnya menjadi catatan statis yang dapat dibaca teks mengenai korespondensi setiap sudut. Bentuk itu tetap satu-ke-satu karena determinan $A$ ini adalah 1, bukan nol.

Contoh kerja: mencari invers matriks 2 × 2

Untuk

determinan adalah

Jika bilangan ini tidak nol, rumus invers 2 × 2 adalah

Rumus ini memiliki dua pemeriksaan bawaan: tukar entri diagonal, negasikan entri di luar diagonal, lalu bagi dengan determinan. Determinan yang tidak nol membuat pembagian itu sah.

Kita juga dapat menguji invers dengan mentransformasikan satu vektor fitur. Misalkan

Peta maju menghasilkan

Invers mengembalikannya:

Pemeriksaan hasil kali matriks lebih kuat daripada pemeriksaan satu vektor ini. Banyak matriks yang keliru dapat kebetulan membalik satu vektor tertentu; hanya persamaan identitas yang menunjukkan bahwa transformasi telah dibalik untuk setiap vektor dalam ruang tersebut.

Invers bukan transpose

Transpose $A^{\mathsf T}$ menukar baris dan kolom:

Itu adalah reorientasi sumbu. Invers menyelesaikan persyaratan yang berbeda, yaitu $AA^{-1}=I$. Keduanya dapat sama dalam kasus khusus, tetapi secara umum satu operasi tidak dapat menggantikan operasi lainnya.

Untuk matriks contoh, $A$ kebetulan simetris, sehingga $A^{\mathsf T}=A$. Namun inversnya adalah

yang jelas bukan $A$. Simetri saja tidak membuat matriks menjadi ortogonal atau membuat transposenya menjadi invers.

Berikut contoh tandingan yang nonsimetris:

Transpose mempertahankan entri, tetapi mengubah orientasinya. Invers mengubah tanda dan menggabungkan koordinat sehingga kedua hasil kali matriks menjadi identitas. Hanya ketika $Q^{\mathsf T}Q=I$—misalnya untuk rotasi atau refleksi murni—berlaku $Q^{-1}=Q^{\mathsf T}$.

Penerapan AI: membalik perubahan koordinat fitur yang dipelajari

Banyak pipeline bekerja dengan vektor fitur yang dipusatkan, bukan nilai fitur mentah. Misalkan $\boldsymbol{x}\in\mathbb{R}^2$ adalah vektor dua fitur mentah dan $\boldsymbol{\mu}$ adalah vektor rata-rata tetap. Langkah prapemrosesan linear dapat ditulis sebagai

Matriks $A$ mencampurkan dan menskalakan ulang koordinat yang sudah dipusatkan. Ini dapat berguna ketika model berikutnya bekerja lebih baik dalam sistem fitur yang diputar atau dinyatakan ulang dengan cara lain. Jika $A$ invertibel dan $\boldsymbol{\mu}$ yang sama tetap disimpan, vektor mentah dapat dipulihkan dengan

Invers bukan tombol ajaib untuk membatalkan seluruh pipeline prapemrosesan. Invers hanya membalik peta linear tertentu ini. Pipeline yang kemudian melakukan clipping nilai, membuang fitur, membulatkan ke bilangan bulat, atau menerapkan operasi non-injektif telah membuang informasi yang tidak dapat direkonstruksi oleh invers matriks apa pun.

Sebagai contoh, ambil

Pertama, pusatkan vektor fitur:

Koordinat hasil transformasinya adalah $\boldsymbol{z}=[8,5]^{\mathsf T}$, seperti pada contoh kerja. Membaliknya menghasilkan

Kebiasaan debugging yang praktis adalah mencatat makna sumbu, rata-rata yang digunakan untuk pemusatan, dan versi matriks yang tepat secara bersamaan. Invers dari fit prapemrosesan yang lebih baru mungkin valid secara matematis, tetapi tetap merupakan invers yang salah untuk batch lama.

Transformasi singular kehilangan pembedaan

Pertimbangkan

Determinan-nya adalah

Baris kedua adalah dua kali baris pertama, sehingga $S$ hanya memiliki satu arah independen. Matriks itu juga memetakan masukan yang berbeda ke keluaran yang sama:

Setelah kedua masukan itu bertabrakan, pengamat yang hanya melihat keluaran tidak dapat mengetahui masukan mana yang digunakan. Invers harus mengirim satu keluaran ke dua vektor yang berbeda, dan hal itu mustahil bagi sebuah fungsi. NumPy melaporkan kegagalan ini sebagai LinAlgError ketika numpy.linalg.inv atau numpy.linalg.solve diminta bekerja dengan matriks persegi singular; lihat dokumentasi invers dan dokumentasi solve.

Singularitas bukan hanya kesalahan perangkat lunak. Ini dapat berarti peta fitur telah meruntuhkan sebuah arah, dua kolom bersifat redundan, atau representasi model tidak memuat informasi yang cukup untuk rekonstruksi yang diminta. Pseudoinvers atau estimasi kuadrat terkecil mungkin tetap berguna untuk pertanyaan yang berbeda, tetapi itu bukan invers dua sisi yang eksak dari $S$.

Hampir singular adalah peringatan numerik, bukan keberhasilan

Sekarang ubah satu entri dengan jumlah yang sangat kecil:

Determinan-nya kira-kira $10^{-8}$, sehingga secara teknis matriks ini invertibel. Namun baris-barisnya hampir sejajar. Perubahan kecil dalam pengukuran atau pembulatan dapat menghasilkan perubahan besar pada vektor yang dipulihkan. Bilangan kondisi merangkum sensitivitas ini; dalam norma-2 yang umum, nilai mendekati $4\times10^8$ berarti banyak digit akurasi masukan dapat habis selama penyelesaian. NumPy menyediakan diagnosis ini sebagai numpy.linalg.cond.

Perbedaannya penting:

Determinan saja bukan ambang keamanan yang universal dan bebas skala. Mengalikan matriks dengan skalar besar juga mengubah determinannya, jadi periksa bilangan kondisi, nilai singular, residual, dan skala aplikasi. Determinan floating-point yang tidak nol adalah bukti bahwa representasi tersebut invertibel, bukan jaminan bahwa rekonstruksinya dapat dipercaya.

Mengapa solve lebih disukai daripada membangun invers eksplisit

Persamaan

memiliki solusi matematis $\boldsymbol{x}=A^{-1}\boldsymbol{b}$ ketika $A$ invertibel. Namun dalam kode, jika yang Anda perlukan hanya $\boldsymbol{x}$, membentuk $A^{-1}$ lengkap terlebih dahulu tidak diperlukan. numpy.linalg.solve menerima $A$ dan $\boldsymbol{b}$ secara langsung dan menghitung solusi sistem; numpy.linalg.inv membangun matriks invers itu sendiri dan memperingatkan bahwa hasil yang terkondisi buruk mungkin tidak akurat.

Karena itu, pola implementasi yang disarankan adalah:

import numpy as np

A = np.array([[2.0, 1.0],
              [1.0, 1.0]])
b = np.array([2.0, 1.0])

x_from_solve = np.linalg.solve(A, b)
x_from_inverse = np.linalg.inv(A) @ b

np.testing.assert_allclose(x_from_solve, [1.0, 0.0])
np.testing.assert_allclose(x_from_inverse, x_from_solve)
np.testing.assert_allclose(A @ x_from_solve, b)

Kedua jalur sepakat untuk contoh kecil yang terkondisi baik ini. Perbedaan rekayasanya adalah solve menghitung solusi yang diminta tanpa mematerialisasi matriks yang mungkin tidak pernah Anda gunakan. Ini juga membuat algoritme penyelesaian sistem tetap eksplisit, sehingga kode menyampaikan tugas sebenarnya: menyelesaikan $A\boldsymbol{x}=\boldsymbol{b}$.

Jika beberapa ruas kanan berbagi $A$ yang sama, berikan semuanya sebagai kolom dalam matriks $B$ dan selesaikan $AX=B$ dalam satu panggilan. Jika $A$ singular, solve adalah alat yang salah untuk solusi eksak; pilih metode seperti kuadrat terkecil hanya ketika tujuannya yang berbeda sesuai dengan aplikasi. Selalu periksa residual:

Residual kecil dalam satuan masalah merupakan bukti bahwa vektor yang dihitung menyelesaikan sistem yang diberikan. Namun, residual itu sendiri tidak membuktikan bahwa sistem terkondisi baik atau matriksnya mewakili langkah prapemrosesan yang tepat.

Pelajaran berikutnya akan membuat langkah penyelesaian itu eksplisit dengan operasi baris. Untuk saat ini, identitas adalah target, invers adalah peta yang dapat dibalik, transpose adalah pertukaran sumbu, dan pengondisian memberi tahu kita apakah pembalikan yang sah secara matematis masuk akal secara numerik.

Periksa pemahaman Anda

x = np.linalg.solve(A, b)

np.testing.assert_allclose(A @ x, b)