Ruang Vektor: Uji Apakah Representasi AI Memenuhi Aturan

Pipeline embedding dapat memaksa setiap vektor keluaran yang bukan nol memiliki panjang $1$ . Ini memudahkan perhitungan kemiripan, tetapi menimbulkan jebakan halus: keluaran yang dinormalisasi tidak membentuk ruang vektor di bawah penjumlahan vektor dan perkalian skalar biasa. Jumlahkan dua keluaran atau ubah skala salah satunya, dan hasilnya dapat keluar dari himpunan yang diizinkan.

Pelajaran ini menjadikan “ruang vektor” sebagai uji, bukan sekadar label. Setelah mempelajarinya, Anda dapat memeriksa vektor nol, ketertutupan penjumlahan dan perkalian skalar; menyusun satu contoh tandingan yang menentukan saat suatu aturan gagal; serta menjelaskan mengapa embedding ternormalisasi berada di dalam ruang vektor ambient tanpa membentuk ruang vektor itu sendiri.

Hasil belajar: Uji apakah suatu himpunan memenuhi aturan ketertutupan ruang vektor.

Pelajaran 17: Kombinasi linear membentuk vektor baru (dalam bahasa Inggris) memperkenalkan operasi $a\boldsymbol{x}+b\boldsymbol{y}$ . Pelajaran 26: Grup, gelanggang, dan lapangan menjelaskan operasi yang valid (dalam bahasa Inggris) menunjukkan mengapa suatu himpunan dan operasinya harus dipertimbangkan bersama. Bagian 2.4 dari buku resmi Mathematics for Machine Learning merumuskan kombinasi tersebut sebagai ruang vektor. Uji, contoh tandingan embedding, kode, visual, dan penilaian di bawah ini adalah materi orisinal.

Ruang vektor menjamin kombinasi linear tetap berada di dalamnya

Misalkan $V$ adalah himpunan yang unsur-unsurnya disebut vektor. Dalam ruang vektor real, tersedia dua operasi:

+:V\times V\to V, \qquad \cdot:\mathbb{R}\times V\to V.

Operasi pertama menjumlahkan dua vektor. Operasi kedua mengalikan vektor dengan bilangan real, atau skalar. Panah yang berujung di $V$ menyatakan ketertutupan: kedua operasi harus menghasilkan anggota lain dari himpunan yang sama.

Ketertutupan saja belum merupakan definisi lengkap. Penjumlahan vektor juga harus memiliki vektor nol dan invers aditif; penjumlahan harus asosiatif dan komutatif; perkalian skalar harus memenuhi sifat asosiatif yang sesuai; serta aturan distributif dan identitas yang biasa harus berlaku.

Aturan untuk setiap skalar cukup ketat. Himpunan yang tetap tertutup saat dikalikan $2$ tetapi gagal untuk $-1$ , atau tertutup untuk skalar positif tetapi gagal untuk $0$ , bukan ruang vektor real.

Operasi warisan menyederhanakan pengujian

Sebagian besar pertanyaan praktis dimulai dengan himpunan kandidat $U\subseteq\mathbb{R}^n$ yang menggunakan penjumlahan dan perkalian skalar biasa yang telah didefinisikan di $\mathbb{R}^n$ . Hukum aljabarnya diwarisi dari ruang ambient. Tugas yang tersisa adalah menentukan apakah hasil operasi pernah keluar dari $U$ .

Ada ketidaksimetrian penting dalam penggunaan uji ini:

Untuk membuktikan $U$ adalah ruang vektor, argumen ketertutupan harus mencakup setiap input yang diizinkan.
Untuk membuktikan $U$ bukan ruang vektor, satu contoh tandingan yang valid sudah cukup.

Memeriksa tiga vektor yang mudah dipilih tidak membuktikan ketertutupan universal. Menemukan satu pasangan yang jumlahnya keluar dari himpunan langsung membantahnya.

Contoh kerja: kendala yang tetap berlaku dalam kombinasi

Pertimbangkan himpunan

U=\left\{ \begin{bmatrix}x_1\\x_2\end{bmatrix}\in\mathbb{R}^2: x_1+x_2=0 \right\}.

Setiap vektor di $U$ berbentuk $[t,-t]^\mathsf{T}$ . Vektor nol termasuk dalam $U$ dengan memilih $t=0$ . Sekarang ambil vektor sembarang

\boldsymbol{u}=\begin{bmatrix}p\\-p\end{bmatrix}, \qquad \boldsymbol{v}=\begin{bmatrix}q\\-q\end{bmatrix}

and arbitrary scalars $a,b\in\mathbb{R}$ .

Untuk pemeriksaan numerik, pilih $\boldsymbol{u}=[2,-2]^\mathsf{T}$ , $\boldsymbol{v}=[-1,1]^\mathsf{T}$ , $a=3$ , dan $b=-1$ :

3\boldsymbol{u}-\boldsymbol{v} =\begin{bmatrix}6\\-6\end{bmatrix} +\begin{bmatrix}1\\-1\end{bmatrix} =\begin{bmatrix}7\\-7\end{bmatrix}\in U.

Perhitungan ini menggambarkan aturannya, sedangkan argumen simbolis membuktikannya untuk semua nilai.

Embedding ternormalisasi gagal dalam uji yang sama

Sekarang definisikan himpunan dengan panjang satu

S=\left\{\boldsymbol{x}\in\mathbb{R}^d: \lVert\boldsymbol{x}\rVert_2=1\right\}.

Ini adalah bola satuan dalam ruang vektor ambient $\mathbb{R}^d$ . Pustaka embedding dapat sengaja mengembalikan vektor dalam himpunan ini. Sebagai contoh, dokumentasi encode Sentence Transformers saat ini menjelaskan opsi normalize_embeddings yang menormalisasi vektor keluaran hingga panjang $1$ .

Dalam dua dimensi, ambil

\boldsymbol{e}_1=\begin{bmatrix}1\\0\end{bmatrix}, \qquad \boldsymbol{e}_2=\begin{bmatrix}0\\1\end{bmatrix}.

Keduanya memiliki norma Euclidean $1$ , sehingga berada di $S$ . Jumlahnya adalah

\boldsymbol{e}_1+\boldsymbol{e}_2 =\begin{bmatrix}1\\1\end{bmatrix}, \qquad \left\lVert\begin{bmatrix}1\\1\end{bmatrix}\right\rVert_2 =\sqrt{1^2+1^2}=\sqrt{2}.

Karena $\sqrt{2}\ne1$ , jumlahnya berada di luar $S$ . Ketertutupan perkalian skalar juga gagal:

2\boldsymbol{e}_1=\begin{bmatrix}2\\0\end{bmatrix}, \qquad \lVert2\boldsymbol{e}_1\rVert_2=2.

Vektor nol menjadi kegagalan ketiga karena normanya $0$ , bukan $1$ .

Contoh tandingan ketertutupan statis

Lingkaran satuan tidak tertutup terhadap kombinasi linear biasa

Lingkaran biru memuat semua vektor dua dimensi dengan norma Euclidean 1. Vektor satuan bergaris utuh dan putus-putus bermula di dalam himpunan, sedangkan jumlahnya, vektor yang diperbesar, dan vektor nol tidak memenuhi syarat keanggotaan.

Lingkaran adalah himpunan yang diizinkan, bukan seluruh bidang ambient. Pola garis, cincin ujung, label, dan tabel yang tepat membuat setiap kegagalan keanggotaan terbaca tanpa mengandalkan warna.

Pemeriksaan keanggotaan tepat yang digambarkan
Uji ketertutupan	Input dalam S	Hasil	Norma hasil	Status
Penjumlahan	e₁ dan e₂	e₁ + e₂ = (1, 1)	√2	Di luar S
Perkalian skalar	2 dan e₁	2e₁ = (2, 0)	2	Di luar S
Vektor nol	Identitas aditif yang diwajibkan	0 = (0, 0)	0	Bukan anggota S

Satu baris saja cukup untuk membantah bahwa himpunan ini ruang vektor. Ketiga baris menunjukkan persyaratan yang berbeda, sehingga memperbaiki satu kegagalan tidak memperbaiki kegagalan lainnya.

Visual menggunakan $d=2$ karena geometrinya muat dalam satu halaman. Contoh tandingan skalar yang sama berlaku di setiap dimensi: jika $\lVert\boldsymbol{x}\rVert_2=1$ , maka $\lVert2\boldsymbol{x}\rVert_2=2$ . Jadi, embedding yang dinormalisasi satuan di $\mathbb{R}^d$ bukan ruang vektor dengan operasi biasa.

Normalisasi ulang mengubah operasinya

Pipeline yang umum menjumlahkan atau merata-ratakan embedding ternormalisasi, lalu menormalisasi hasilnya lagi. Prosedur ini dapat berguna, tetapi normalisasi terakhir adalah operasi nonlinear baru:

\operatorname{normalize}(\boldsymbol{x}+\boldsymbol{y}) =\frac{\boldsymbol{x}+\boldsymbol{y}} {\lVert\boldsymbol{x}+\boldsymbol{y}\rVert_2},

dengan syarat penyebutnya bukan nol. Jumlah mentah mula-mula keluar dari bola satuan; normalisasi memetakannya kembali. Memetakan hasil kembali ke $S$ tidak membuat $S$ tertutup terhadap operasi penjumlahan semula.

Kasus nol penting. Jika $\boldsymbol{y}=-\boldsymbol{x}$ , then $\boldsymbol{x}+\boldsymbol{y}=\boldsymbol{0}$ , dan membaginya dengan norma berarti membagi dengan nol. Implementasi memerlukan kebijakan eksplisit untuk baris nol atau hampir nol.

Dokumentasi linalg.norm NumPy menjelaskan kontrol axis dan keepdims yang digunakan di bawah ini untuk menghitung satu norma per embedding sambil mempertahankan bentuk kolom yang dapat disiarkan (broadcast):

import numpy as np


def normalize_rows(vectors):
    vectors = np.asarray(vectors, dtype=float)
    norms = np.linalg.norm(vectors, axis=1, keepdims=True)
    normalized = np.divide(
        vectors,
        norms,
        out=np.zeros_like(vectors),
        where=norms > 0,
    )
    return normalized


embeddings = np.array([
    [3.0, 4.0],
    [-4.0, 3.0],
    [0.0, 0.0],
])

normalized = normalize_rows(embeddings)
print(normalized)
print(np.linalg.norm(normalized, axis=1))

Keluaran yang dihasilkan adalah

[[ 0.6  0.8]
 [-0.8  0.6]
 [ 0.   0. ]]
[1. 1. 0.]

Dua baris pertama berada pada lingkaran satuan. Baris nol tetap nol karena fungsi ini sengaja menggunakan nol sebagai nilai cadangan teknis. Nilai cadangan itu termasuk dalam $\mathbb{R}^2$ tetapi tidak dalam $S$ , jadi pemanggil tidak boleh menyatakan bahwa setiap keluaran memiliki norma satu.

Pemeriksaan ketertutupan yang andal meninjau operasi yang sebenarnya

Saat deskripsi model menyebut kumpulan representasi sebagai “ruang”, kenali himpunan dan operasinya sebelum mengasumsikan adanya struktur linear. Embedding mentah dapat berada di $\mathbb{R}^d$ . Embedding ternormalisasi satuan berada pada bola. Vektor probabilitas dengan koordinat nonnegatif yang berjumlah $1$ berada dalam himpunan terbatas lain. Masing-masing dapat mendukung algoritma yang berguna, tetapi penjumlahan biasa dan perkalian dengan sembarang skalar real belum tentu mempertahankan hasil di dalam himpunan.

Pelajaran berikutnya membahas subruang: subset terbatas yang lolos uji ketertutupan sehingga mempertahankan struktur linear ambient. Sebelum melanjutkan, gunakan pertanyaan di bawah untuk berlatih membuktikan ketertutupan universal dan menemukan kegagalan yang menentukan.

Periksa pemahaman Anda

Pertanyaan 1

Untuk subset tak kosong dari Rⁿ dengan operasi vektor biasa, tiga pemeriksaan keanggotaan apa yang memastikan bahwa subset itu merupakan ruang vektor?