Ruang afin menjelaskan bias dan batas keputusan

Bobot pada sebuah pengklasifikasi menentukan arah yang memisahkan dua kelas. Bias memungkinkan garis pemisah itu berada di suatu tempat selain titik asal. Tambahan kecil ini merupakan translasi geometris: batas linear berubah menjadi batas afin, sementara arahnya tetap.

Setelah membaca, Anda akan dapat membedakan subruang yang ditranslasikan dari subruang yang melalui titik asal, menguji apakah suatu pemetaan linear atau afin, dan menghitung bagaimana bias mengubah batas pengklasifikasi sederhana.

Capaian pembelajaran: Membedakan himpunan linear dan afin serta transformasi linear dan afin.

Materi ini melanjutkan Pelajaran 034, yang menunjukkan bahwa pemetaan linear mempertahankan penjumlahan vektor dan perkalian skalar. Bagian 2.8 dari Mathematics for Machine Learning memperluas struktur tersebut dengan offset. Contoh, perhitungan pengklasifikasi, visual, dan asesmen di sini adalah karya orisinal.

Garis dapat mempertahankan arahnya sambil bergeser dari titik asal

Subruang vektor harus memuat vektor nol. Sebagai contoh, semua kelipatan $d=(1,2)$ membentuk garis yang melalui titik asal:

U = \{t(1,2):t\in\mathbb{R}\}.

Pilih titik $p=(0,-1)$ , lalu tambahkan ke setiap vektor di $U$ . Hasilnya adalah garis sejajar yang tidak lagi melalui titik asal:

L = p+U = \{p+u:u\in U\} = \{(0,-1)+t(1,2):t\in\mathbb{R}\}.

Koordinat parametrik garis ini adalah $(x_1,x_2)=(t,2t-1)$ . Dengan menghilangkan $t$ , kita memperoleh $2x_1-x_2=1$ . Vektor arahnya sama dengan milik $U$ , tetapi setiap titik di $L$ telah bergeser sebesar $p$ . Secara khusus, $0\notin L$ : koordinat pertama bernilai nol hanya jika $t=0$ , dan saat itu koordinat kedua bernilai $-1$ . Jika titik pilihan $p$ berada di $U$ , translasi $p+U$ sama dengan $U$ ; dalam kasus khusus ini, subruang afin sekaligus merupakan subruang vektor.

Arah sama, dengan dan tanpa offsetBias mengubah batas dari 2x₁ − x₂ = 0 menjadi 2x₁ − x₂ = 1. Kedua garis tetap sejajar, dan batas hasil translasi tidak lagi memuat titik asal.

Tanpa bias: 2x₁ − x₂ = 0
Bias −1: 2x₁ − x₂ = 1

Kedua garis pada gambar memiliki vektor arah yang sama, $(1,2)$ , karena vektor itu tegak lurus terhadap vektor normal bersama $(2,-1)$ . Garis putus-putus adalah translasi dari garis utuh. Posisi berubah, tetapi orientasinya tidak. Label dan persamaan menyampaikan informasi yang sama tanpa mengandalkan warna.

Kombinasi afin mempertahankan titik di dalam himpunan ber-offset

Salah satu cara mengenali geometri afin adalah menggabungkan titik dengan koefisien yang jumlahnya satu. Jika $x=p+u$ dan $y=p+v$ berada di $L$ , maka untuk setiap bilangan real $\lambda$ ,

\lambda x+(1-\lambda)y = \lambda(p+u)+(1-\lambda)(p+v) = p+\bigl(\lambda u+(1-\lambda)v\bigr) \in p+U.

Offset $p$ tetap ada karena $\lambda+(1-\lambda)=1$ , dan bagian di dalam tanda kurung tetap berada di $U$ karena subruang tertutup terhadap kombinasi linear. Itulah sebabnya interpolasi titik-titik pada garis tetap berada di garis tersebut, termasuk ekstrapolasi saat $\lambda$ berada di luar $[0,1]$ .

Penjumlahan biasa memiliki jumlah koefisien yang berbeda. Untuk $x,y\in L$ , berlaku $x+y=2p+(u+v)$ , yang belum tentu berada di $p+U$ . Pada garis contoh kita, ambil $x=p$ dan $y=p$ sehingga $x+y=(0,-2)$ ; titik ini tidak memenuhi persamaan garis $2x_1-x_2=1$ . Jadi, subruang afin mempertahankan kombinasi afin, sedangkan subruang vektor mempertahankan semua kombinasi linear dan memuat nol.

Titik jangkar yang dipilih tidak unik. Jika $q\in U$ , maka $p+U=(p+q)+U$ karena menambahkan unsur dari $U$ hanya mengubah titik mana yang dijadikan jangkar. Ruang arah adalah bagian yang tetap; titik pendukung hanya satu wakil yang praktis.

Bias menggeser batas pengklasifikasi

Pemetaan afin menggabungkan pemetaan linear dengan translasi tetap:

Untuk dua masukan apa pun, translasi saling menghapus saat dikurangkan:

F(x)-F(y)=(Ax+b)-(Ay+b)=A(x-y).

Untuk koefisien yang jumlahnya satu, keluaran juga mempertahankan kombinasi afinnya:

F\bigl(\lambda x+(1-\lambda)y\bigr) = \lambda F(x)+(1-\lambda)F(y).

Ini berbeda dari aturan pemetaan linear untuk penjumlahan sembarang. Khususnya, $F(0)=b$ , sehingga bias bukan nol memetakan masukan nol ke keluaran bukan nol.

Misalkan $x=(x_1,x_2)\in\mathbb{R}^2$ adalah masukan dengan dua fitur. Skornya adalah

s(x)=2x_1-x_2-1.

Masukan masuk kelas positif jika $s(x)\ge 0$ dan kelas negatif jika $s(x)<0$ . Batas keputusan adalah lokasi dengan skor nol:

2x_1-x_2-1=0 \quad\Longleftrightarrow\quad 2x_1-x_2=1.

Vektor bobot $w=(2,-1)$ menentukan normal batas, sedangkan bias $b=-1$ menetapkan tingkat skor pada $w^\mathsf{T}x=1$ . Dalam dua dimensi, batasnya berupa garis; dalam ruang fitur berdimensi lebih tinggi, himpunan datar terkait disebut hiperbidang. Titik $p=(0,-1)$ berada di atasnya karena $2(0)-(-1)-1=0$ . Bergerak sepanjang arah $d=(1,2)$ tidak mengubah skor:

Tanpa bias, batasnya adalah $2x_1-x_2=0$ dan melalui titik asal. Penambahan $b$ mengubah intersep, bukan vektor normalnya. Secara umum, skor pengklasifikasi $w^\mathsf{T}x+b$ menggunakan $w$ untuk menentukan orientasi hiperbidang dan $b$ untuk menentukan offset-nya. Dokumentasi PyTorch untuk torch.nn.Linear menuliskan bentuk afin ini sebagai $y=xA^\mathsf{T}+b$ dan mengaktifkan bias yang dapat dipelajari secara default (dokumentasi torch.nn.Linear). Dengan satu keluaran, lapisan tersebut dapat menghasilkan skor seperti ini; aturan lanjutan seperti ambang kemudian menetapkan kelas.

Bias menggeser batas secara sejajar hanya selama bobot tetap. Jika pelatihan mengubah $w$ , orientasi batas juga berubah. Bias juga tidak dapat membuat satu batas afin mewakili setiap pola klasifikasi yang mungkin; bias hanya menyesuaikan offset skor linear tertentu ini.

Verifikasi geometri dengan NumPy

Contoh ini dapat diperiksa langsung. Kode berikut menghitung skor pada titik pendukung dan dua titik yang diperoleh dengan bergerak sepanjang arah:

import numpy as np

w = np.array([2.0, -1.0])
b = -1.0
p = np.array([0.0, -1.0])
d = np.array([1.0, 2.0])
score = lambda x: w @ x + b

print(score(p))          # 0.0: p is on the boundary
print(score(p + d))      # 0.0: moving along d stays on it
print(score(p + 3 * d))  # 0.0: extrapolating along d also stays on it
print(score(np.zeros(2)))  # -1.0: the origin is off the boundary

Perhitungannya menggunakan geometri vektor kolom, sedangkan batch tensor yang umum menyimpan contoh sebagai baris. PyTorch menuliskan lapisan linear batch sebagai $xA^\mathsf{T}+b$ ; transpose menyesuaikan konvensi berorientasi baris itu. Dengan bias default, operasi tersebut afin. Mengatur bias=False membuat pemetaan lapisan menjadi linear, meskipun aktivasi nonlinear setelahnya merupakan operasi terpisah.

Periksa pemahaman Anda

Question 1

Untuk U = span((1, 2)) dan p = (0, −1), tuliskan p + U dalam bentuk parametrik dan nyatakan apakah himpunan itu memuat titik asal.