Kombinasi Linear untuk AI: Bagaimana Vektor Berbobot Membentuk Representasi Baru

Sistem AI sering memiliki beberapa vektor kandidat tetapi membutuhkan satu hasil. Memilih hanya satu kandidat akan membuang kandidat lainnya. Menjumlahkannya tanpa perubahan akan memberi setiap kandidat kekuatan yang sama. Kombinasi linear menyediakan operasi yang lebih fleksibel: skalakan setiap vektor dengan koefisiennya sendiri, lalu jumlahkan kontribusi yang sudah diskalakan.

Misalnya, dua vektor dapat mengodekan bagian konteks yang berbeda. Koefisien $0.75$ dan $0.25$ membuat kandidat pertama berkontribusi tiga kali lebih kuat daripada kandidat kedua. Hasilnya tetap satu vektor dalam sistem koordinat yang sama, siap untuk perhitungan berikutnya.

Di akhir pelajaran ini, Anda akan mampu membangun kombinasi linear koordinat demi koordinat, menafsirkan perubahan yang dibuat setiap koefisien, mengimplementasikan operasi dengan pemeriksaan bentuk di NumPy, serta mengenali kondisi tambahan yang mengubah kombinasi linear umum menjadi keluaran attention yang menyerupai rata-rata berbobot.

Hasil pembelajaran: Bangun dan tafsirkan jumlah berbobot dari beberapa vektor.

Pelajaran 16: Perkalian Skalar untuk AI menunjukkan bagaimana satu skalar mengendalikan kekuatan dan arah satu vektor. Pelajaran 15 memperkenalkan penjumlahan vektor. Pelajaran ini menggabungkan kedua operasi tersebut. Situs pendamping Mathematics for Machine Learning yang resmi menempatkan operasi skalar dan matriks di Bagian 2.2 dan mendefinisikan kombinasi linear di Bagian 2.5 buku tersebut. Kisah fitur, perhitungan, kode, visual, dan asesmen di bawah ini adalah karya orisinal.

Beri setiap kandidat koefisiennya sendiri

Misalkan $\boldsymbol{v}_1,\boldsymbol{v}_2,\ldots,\boldsymbol{v}_k\in\mathbb{R}^n$ adalah $k$ vektor. Notasi $\mathbb{R}^n$ berarti setiap vektor memiliki $n$ koordinat real. Misalkan $a_1,a_2,\ldots,a_k\in\mathbb{R}$ adalah koefisien bilangan real. Koefisien adalah skalar yang diberikan kepada satu vektor.

Menyebutnya “jumlah berbobot” menjelaskan aritmetika yang sama: koefisien adalah bobotnya. Namun, “bobot” di sini tidak selalu berarti parameter model yang dipelajari atau probabilitas. Perannya sekadar menskalakan satu kontribusi.

Semua vektor masukan harus berada dalam ruang vektor yang sama agar penjumlahannya bermakna. Dalam perhitungan array, itu biasanya berarti bentuk yang sama dan makna koordinat yang sama. Vektor dua koordinat untuk [temperature, humidity] tidak dapat dijumlahkan secara bermakna dengan vektor dua koordinat untuk [height, age] hanya karena keduanya berbentuk (2,).

Lacak dua kontribusi sampai ke hasil

Misalkan sebuah representasi kecil menggunakan koordinat [topic, urgency]. Dua vektor kandidatnya adalah

Pilih koefisien $a=0.75$ dan $b=0.25$. Kombinasi linear yang diminta adalah $\boldsymbol{r}=a\boldsymbol{u}+b\boldsymbol{v}$.

Contoh ini juga menunjukkan bahwa “koefisien lebih besar” tidak sama dengan “koordinat akhir lebih besar”. Koefisien menskalakan seluruh vektor. Tanda dan ukuran setiap koordinat vektor tetap menentukan apakah kontribusi tersebut menaikkan atau menurunkan koordinat hasil yang bersesuaian.

Aturan komponen menjelaskan operasi ini

Tuliskan vektor masukan berdasarkan koordinatnya:

Simbol $v_{ij}$ berarti koordinat $j$ dari vektor $i$. Penskalaan dan penjumlahan bekerja koordinat demi koordinat, sehingga koordinat $j$ dari hasilnya adalah

Identitas inilah alasan resep dua langkah tersebut bekerja. Perkalian skalar membuat kontribusi $i$ menjadi $[a_i v_{i1},\ldots,a_i v_{in}]^\mathsf{T}$. Kemudian penjumlahan vektor menjumlahkan semua koordinat pertama untuk memperoleh $r_1$, semua koordinat kedua untuk memperoleh $r_2$, dan seterusnya. Karena setiap perhitungan koordinat adalah perhitungan bilangan real, hasilnya kembali memiliki $n$ koordinat real.

Aturan yang sama memberi pemeriksaan aljabar yang berguna. Mengelompokkan ulang kontribusi tidak mengubah hasil karena penjumlahan bilangan real bersifat asosiatif. Mengurutkannya ulang juga tidak mengubah hasil karena penjumlahan bersifat komutatif:

Itu tidak berarti koefisien dapat ditukar antarvektor. Biasanya $a\boldsymbol{u}+b\boldsymbol{v}\ne b\boldsymbol{u}+a\boldsymbol{v}$ karena vektor yang berbeda menerima skala yang berbeda.

Pindahkan koefisien, bukan makna koordinat

Explorer ini menetapkan $\boldsymbol{u}=[3,1]^\mathsf{T}$ dan $\boldsymbol{v}=[-1,3]^\mathsf{T}$ sambil membuka $a$ dan $b$ untuk diubah. Panah solid dan putus-putus menunjukkan dua kontribusi berskala dari titik asal. Salinan bergeser dari $b\boldsymbol{v}$ dimulai di ujung $a\boldsymbol{u}$, yang memperlihatkan jalur penjumlahan. Panah hasil bertitik menghubungkan titik asal secara langsung ke jumlah keduanya.

Pada keadaan awal yang dirender server, $a=0.75$ dan $b=0.25$, sehingga panah bertitik berakhir di $(2,1.5)$, sesuai dengan contoh yang dihitung. Atur satu koefisien menjadi nol dan kontribusinya menghilang. Gerakkan koefisien ke bawah nol dan panahnya berbalik. Atur kedua koefisien menjadi nol dan semua kontribusi runtuh menjadi vektor nol. Tidak satu pun perubahan itu mengganti nama atau mengurutkan ulang koordinat.

Kombinasi linear lebih luas daripada rata-rata

Beberapa istilah terkait menggunakan operasi skala-dan-jumlah yang sama, tetapi menerapkan aturan berbeda pada koefisien.

Dalam pelajaran ini, rata-rata berbobot berarti bentuk umum dengan bobot nonnegatif yang dinormalisasi, sehingga merupakan kombinasi konveks. Beberapa bidang menggunakan istilah “weighted mean” dengan konvensi berbeda, yang harus dinyatakan secara eksplisit. Contoh awal memenuhi konvensi ini karena $0.75+0.25=1$ dan kedua koefisien nonnegatif. Sebaliknya, $1.5\boldsymbol{u}-0.5\boldsymbol{v}$ adalah kombinasi linear dan afin yang valid, tetapi bukan kombinasi konveks: koefisien negatifnya dapat membawa hasil melewati ruas garis di antara kedua vektor.

Vektor nol selalu dapat dicapai sebagai kombinasi linear dengan mengatur semua koefisien menjadi nol. Fakta itu tidak mengatakan bahwa masukan itu sendiri nol. Fakta itu hanya mengatakan bahwa operasi ini mengizinkan kombinasi trivial tanpa kontribusi aktif.

Attention menggunakan jumlah berbobot nilai yang dibatasi

Makalah Transformer asli mendefinisikan keluaran attention sebagai jumlah berbobot dari vektor nilai. Setiap vektor nilai adalah representasi kandidat dengan dimensi fitur yang sama. Mekanisme attention menghitung seberapa banyak setiap nilai berkontribusi untuk posisi saat ini, lalu melakukan kombinasi linear. Persamaan scaled dot-product attention dalam makalah tersebut menuliskan banyak jumlah seperti ini secara ringkas sebagai operasi matriks.

Untuk satu keluaran ilustratif, misalkan bobot attention yang sudah dihitung adalah $0.6$, $0.3$, dan $0.1$, sementara vektor nilainya adalah

Maka representasi bergaya attention tersebut adalah

Dalam operasi attention pada makalah tersebut, normalisasi untuk menghasilkan bobot ini membuat bobotnya nonnegatif dan membuat setiap himpunan berjumlah satu. Karena itu, jumlah akhirnya merupakan kombinasi konveks dari vektor nilai untuk keluaran attention tersebut. Pembatasan itu adalah bagian dari mekanisme attention ini, bukan definisi kombinasi linear.

Pelajaran ini sengaja dimulai setelah bobot dihasilkan. Pelajaran ini belum mengajarkan query, key, skor kompatibilitas, normalisasi, banyak head, atau proyeksi keluaran berikutnya. Inti matematisnya lebih sempit: setelah koefisien dan vektor nilai yang kompatibel tersedia, attention membangun representasi dengan menskalakan setiap nilai dan menjumlahkan kontribusinya.

NumPy seharusnya menyingkap sumbu vektor

Simpan dua vektor kandidat sebagai baris dari satu array. Array vectors kemudian berbentuk (2, 2): dua vektor, masing-masing dengan dua koordinat. Array koefisien berbentuk (2,), satu koefisien untuk setiap vektor.

import numpy as np

vectors = np.array([
    [3.0, 1.0],   # u
    [-1.0, 3.0],  # v
])
coefficients = np.array([0.75, 0.25])

if vectors.ndim != 2:
    raise ValueError("vectors must have shape (number_of_vectors, coordinates)")
if coefficients.shape != (vectors.shape[0],):
    raise ValueError("need exactly one coefficient per vector")

scaled = coefficients[:, np.newaxis] * vectors
result = scaled.sum(axis=0)

print(scaled)
print(result)

Keluaran yang diverifikasi adalah

[[ 2.25  0.75]
 [-0.25  0.75]]
[2.  1.5]

coefficients[:, np.newaxis] mengubah bentuk koefisien dari (2,) menjadi (2, 1). NumPy kemudian dapat menyiarkan satu koefisien ke setiap baris vektor. Aturan broadcasting resmi membandingkan dimensi array dari kanan dan mengizinkan dimensi yang cocok atau berukuran satu. Setelah perkalian, sum(axis=0) menjumlahkan sepanjang sumbu baris vektor dan mempertahankan dua kolom koordinat.

Menulis hanya coefficients * vectors juga berhasil untuk contoh ini: bentuk akhir (2,) dan (2, 2) kebetulan menyelaraskan kedua koefisien dengan kolom koordinat, sehingga NumPy mengembalikan array yang tampak masuk akal tetapi maknanya salah. Baris pertama menjadi [2.25, 0.25], bukan [2.25, 0.75]. Broadcasting yang berhasil bukan bukti bahwa sumbu koefisien sudah benar.

Kecocokan bentuk diperlukan tetapi masih belum cukup. Jika satu kandidat memiliki tiga koordinat dan kandidat lain memiliki dua, tidak ada array vectors persegi panjang biasa berisi nilai numerik yang dapat direduksi dengan cara ini. Jika keduanya memiliki dua koordinat tetapi menggunakan definisi fitur yang berbeda, kode tetap berjalan sementara hasilnya tetap tidak valid secara semantik. Periksa bentuk array dan makna koordinat.

Koefisien menjawab “seberapa banyak”, bukan “apa maknanya”

Tiga kebiasaan mencegah sebagian besar kesalahan:

1. Pasangkan setiap koefisien dengan vektor tertentu sebelum menghitung.
2. Skalakan vektor lengkap, lalu jumlahkan koordinat yang bersesuaian.
3. Nyatakan aturan koefisien tambahan apa pun—seperti nonnegativitas atau jumlah satu—alih-alih menganggap frasa “jumlah berbobot” sudah mencakupnya.

Koefisien negatif bukan kesalahan dalam kombinasi linear umum. Koefisien itu membalik kontribusi. Koefisien yang lebih besar dari satu juga valid; koefisien tersebut dapat memperluas hasil melampaui panah masukan. Pembatalan dapat terjadi ketika kontribusi saling berlawanan, dan koefisien nol menghapus kandidat tanpa mengubah bentuk vektor.

Langkah kursus berikutnya yang aman terhadap prasyarat, Pelajaran 18, mengatur angka ke dalam matriks. Pelajaran 19 kemudian akan memperlihatkan hasil kali matriks–vektor sebagai beberapa jumlah berbobot. Simpan resep saat ini—pasangkan, skalakan, jumlahkan—di dekat Anda; notasi matriks akan memadatkannya, bukan menggantikannya. Halaman kursus Math for AI menjaga jalur berurutan dan prasyarat yang telah diterbitkan.

Uji pemahaman Anda

scaled = coefficients[:, np.newaxis] * vectors
result = scaled.sum(axis=0)