Norma Vektor Mengukur Besar, Bukan Makna

Dua vektor embedding dapat menunjuk ke arah yang sama tetapi memiliki magnitudo berbeda. Misalnya, $(3,4)$ dan $(6,8)$ adalah kelipatan satu sama lain: vektor kedua dua kali lebih panjang. Norma mengubah vektor menjadi bilangan tak negatif yang merangkum besarnya menurut aturan tertentu. Bilangan itu dapat membantu membandingkan skala atau menjelaskan penalti parameter, tetapi tidak menentukan seberapa bermakna sebuah embedding.

Setelah mempelajari materi ini, Anda akan dapat menghitung norma vektor $L_1$ , $L_2$ , dan $L_\infty$ , memeriksa sifat-sifat yang menjadikan suatu fungsi sebagai norma, serta menggunakan NumPy untuk menghitung besar vektor tanpa keliru menganggap sekumpulan vektor sebagai satu matriks.

Capaian pembelajaran: Menghitung norma vektor yang umum dan memeriksa sifat-sifat norma.

Materi ini melanjutkan Pelajaran 014: Vektor sebagai Data AI, yang membahas koordinat sebagai fitur dalam urutan tetap. Bagian 3.1 dari Mathematics for Machine Learning memperkenalkan norma sebagai cara mengukur panjang vektor. Contoh, kode, visual, dan asesmen di sini dibuat khusus untuk materi ini.

Norma adalah aturan besar dengan tiga janji

Misalkan $x$ dan $y$ adalah vektor di $\mathbb{R}^n$ , dan $c$ adalah bilangan real sembarang. Fungsi $\lVert\cdot\rVert$ disebut norma vektor jika memenuhi ketiga aturan berikut:

Aturan pertama menyatakan bahwa besar sebuah vektor tidak mungkin negatif dan hanya vektor nol yang besarnya nol. Aturan kedua berarti mengalikan vektor dengan bilangan negatif tetap mengalikan besarnya dengan nilai mutlak skalar tersebut. Aturan ketiga menyatakan bahwa hasil penjumlahan dua vektor tidak mungkin lebih besar daripada jumlah besar masing-masing vektor.

Tiga aturan umum untuk satu vektor yang sama

Untuk $x=(x_1,\ldots,x_n)$ , norma yang umum digunakan adalah

\lVert x\rVert_1=\sum_{i=1}^n |x_i|,\qquad \lVert x\rVert_2=\sqrt{\sum_{i=1}^n x_i^2},\qquad \lVert x\rVert_\infty=\max_i |x_i|.

Subskrip menunjukkan aturan yang digunakan. $L_1$ menjumlahkan besar absolut setiap koordinat, $L_2$ menggunakan panjang Euclidean yang lazim, dan $L_\infty$ mengambil koordinat dengan nilai absolut terbesar. Ketiganya merangkum vektor yang sama dengan cara berbeda; koordinatnya sendiri tidak berubah.

Ambil vektor $x=(3,-4)$ . Koordinat kedua yang negatif berpengaruh pada operasi tertentu, tetapi semua aturan besar ini memakai nilai absolut atau kuadrat:

Bola satuan Euclidean adalah himpunan vektor dua koordinat yang norma $L_2$ -nya paling besar satu. Titik $(0.6,0.8)$ berada pada batasnya karena $\sqrt{0.6^2+0.8^2}=1$ .

Bola satuan Euclidean memuat vektor dengan panjang paling besar 1Setiap titik di dalam atau pada lingkaran memiliki norma L₂ tidak lebih dari 1. Vektor yang ditandai, (0.6, 0.8), mencapai batas.

Bola satuan L₂: ‖x‖₂ ≤ 1

Daerah berarsir menyatakan sebuah aturan, bukan sekadar bentuk: daerah itu memuat titik asal dan setiap vektor yang panjang $L_2$ -nya tidak lebih dari satu. Panjang pada batasnya sama dengan satu. Di dimensi yang lebih tinggi, himpunan yang sama tetap disebut bola meskipun tidak lagi dapat digambar sebagai cakram.

Periksa ketiga janji

Sifat positif definit terlihat langsung dari rumusnya. Jumlah nilai absolut atau jumlah kuadrat hanya dapat bernilai nol jika setiap koordinat bernilai nol. Nilai maksimum dari nilai absolut juga hanya nol jika setiap koordinat nol. Semua rumus bernilai tak negatif dan menghasilkan nol untuk vektor nol.

Untuk sifat homogen absolut, ambil $x=(3,-4)$ dan kalikan dengan $c=-2$ :

-2x=(-6,8),\qquad \lVert -2x\rVert_1=14=2\cdot7,\quad \lVert -2x\rVert_2=10=2\cdot5,\quad \lVert -2x\rVert_\infty=8=2\cdot4.

Nilai mutlak pada $c$ penting. Skalar negatif membalik arah vektor, tetapi tidak membuat panjangnya menjadi negatif.

Ketaksamaan segitiga juga dapat diperiksa dari rumusnya. Untuk $L_1$ , ketaksamaan koordinat $|x_i+y_i|\le |x_i|+|y_i|$ berlaku pada setiap koordinat. Menjumlahkan ketaksamaan itu menghasilkan $\lVert x+y\rVert_1\le\lVert x\rVert_1+\lVert y\rVert_1$ . Untuk $L_2$ , ini adalah fakta geometri yang lazim: satu sisi segitiga tidak lebih panjang daripada jumlah dua sisi lainnya. Untuk $L_\infty$ ,

\lVert x+y\rVert_\infty =\max_i|x_i+y_i| \le\max_i(|x_i|+|y_i|) \le\max_i|x_i|+\max_i|y_i|.

Karena itu, setiap norma lolos dari ketiga pemeriksaan. Satu contoh numerik dapat menguji pemahaman Anda terhadap suatu aturan, sedangkan penalaran di atas menjelaskan mengapa aturan itu berlaku untuk semua vektor.

Hitung besar vektor dengan NumPy

NumPy menyediakan perhitungan ini melalui numpy.linalg.norm. Untuk array satu dimensi, tentukan ord untuk memilih norma vektor:

import numpy as np

x = np.array([3.0, -4.0])
print(np.linalg.norm(x, ord=1))
print(np.linalg.norm(x, ord=2))
print(np.linalg.norm(x, ord=np.inf))

Hasilnya adalah 7.0, 5.0, dan 4.0. Jika ord tidak ditentukan untuk array satu dimensi, norma $L_2$ menjadi nilai bawaan.

Tabel embedding sering berupa array dua dimensi dengan satu embedding di setiap baris. Untuk menghitung satu norma $L_2$ bagi setiap embedding, tentukan sumbu baris:

embeddings = np.array([[3.0, 4.0], [6.0, 8.0]])
row_norms = np.linalg.norm(embeddings, ord=2, axis=1)
print(row_norms)

Hasilnya [5. 10.]. Norma vektor kedua dua kali norma vektor pertama, meskipun keduanya menunjuk ke arah yang sama. Jika input dua dimensi tidak diberi axis, NumPy menafsirkannya sebagai matriks; norma matriks berbeda dari perhitungan norma vektor untuk setiap baris. Dokumentasi menjelaskan axis sebagai pilihan dimensi yang menjadi arah perhitungan norma vektor.

Norma vektor menyatakan seberapa besar sebuah representasi menurut aturan koordinat yang dipilih. Norma tidak menyatakan bahwa embedding yang lebih besar lebih relevan, akurat, atau penting secara semantik. Kesimpulan seperti itu memerlukan tugas dan evaluasi yang spesifik terhadap model; magnitudo skalar saja tidak cukup.

Penalti parameter berkaitan dengan norma, tetapi tidak selalu merupakan norma itu sendiri

Sebuah fungsi objektif optimisasi dapat menambahkan suku untuk menghukum vektor parameter $w$ yang besar. Misalnya, penalti $L_1$ menambahkan $\lambda\lVert w\rVert_1$ , sedangkan penalti kuadrat $L_2$ menambahkan $\lambda\lVert w\rVert_2^2$ , dengan $\lambda\ge0$ sebagai pengatur bobot penalti. Untuk $w=(3,-4)$ , $\lVert w\rVert_1=7$ , sedangkan $\lVert w\rVert_2^2=25$ .

Kuadrat pada ekspresi kedua penting: $\lVert w\rVert_2^2$ bukan norma. Sifat homogen norma membuat nilainya berubah sebesar faktor $|c|$ , bukan $c^2$ : $\lVert cw\rVert_2^2=c^2\lVert w\rVert_2^2$ . Kedua rumus penalti itu juga memiliki skala numerik berbeda, sehingga memilih $\lambda$ yang sama tidak membuat efeknya sebanding. Norma vektor menjelaskan besaran yang diukur oleh penalti; fungsi objektif dan koefisiennya menentukan dampak pengukuran itu terhadap pelatihan.

Ada satu detail perangkat lunak yang perlu diperhatikan. Parameter ord NumPy mendukung nilai di bawah 1 untuk keperluan numerik, tetapi dokumentasinya secara jelas menyatakan bahwa hasil tersebut bukan norma secara matematis. Misalnya, jika $f(x)=(\sum_i|x_i|^{1/2})^2$ , maka $f((1,0))=1$ dan $f((0,1))=1$ , sedangkan $f((1,1))=4$ . Karena $4>1+1$ , ketaksamaan segitiga gagal. Gunakan ord=0.5 saat memang memerlukan ekspresi numerik tersebut, bukan saat memerlukan norma vektor dengan tiga jaminan di atas.

Setelah memahami ketiga sifat dan perbedaan implementasinya, langkah berikutnya adalah membandingkan geometri yang dihasilkan oleh norma-norma valid yang berbeda, serta bagaimana pilihan itu mengubah pengertian jarak dan batasan.