Group, Ring, dan Field: Mengapa Operasi AI Membutuhkan Aturan

Model AI dapat menjumlahkan dua vektor, menskalakan matriks bobot, dan mengalikan satu batch melalui sebuah layer karena angka dalam tensor tersebut mematuhi kumpulan aturan yang berguna. Aturan itu mudah dianggap begitu saja. Aturan tersebut juga menjadi alasan derivasi linear dapat disusun ulang tanpa mengubah maknanya.

Tujuan pembelajaran: Bedakan asumsi closure, invers, dan distributivitas pada tingkat intuitif, lalu gunakan ketiganya untuk menjelaskan mengapa operasi tensor umum dimodelkan di atas field bilangan real.

Prasyaratnya adalah Lesson 10: Reading a derivation line by line, tempat langkah aljabar pertama yang salah menjadi petunjuk debugging. Di sini, pertanyaannya sedikit lebih awal: langkah aljabar mana yang memang sah sejak awal? Situs pendamping resmi Mathematics for Machine Learning memetakan pelajaran ini ke Bagian 2.4 dari book PDF. Definisi, contoh, kode, visual, dan interpretasi AI di bawah ini bersifat orisinal.

Sebelum melakukan operasi, tanyakan di mana hasilnya berada

Operasi lebih dari sekadar simbol seperti $+$ atau $\times$ . Operasi juga membuat janji tentang input dan outputnya. Jika $S$ adalah suatu himpunan dan $\mathbin{\odot}$ adalah sebuah operasi, closure berarti

\mathbin{\odot}: S\times S\to S.

Panah itu menyatakan bahwa dua anggota $S$ masuk dan anggota $S$ lainnya keluar. Jika hasilnya dapat keluar dari $S$ , ekspresi yang bermula di $S$ tidak lagi sepenuhnya berada di dalam sistem tersebut.

Sebagai contoh, bilangan bulat tak negatif

\mathbb{N}_0=\{0,1,2,3,\ldots\}

tertutup terhadap penjumlahan: $4+7=11$ masih tak negatif. Namun, himpunan ini tidak tertutup terhadap pengurangan: $4-7=-3$ keluar dari himpunan. Closure selalu relatif terhadap operasi tertentu; himpunan yang sama dapat tertutup untuk satu operasi dan tidak untuk operasi lainnya.

Peta validitas operasi

Setiap struktur menambahkan jaminan

Baca dari kiri ke kanan: field mempertahankan semua jaminan yang ditunjukkan ring dan menambahkan satu aturan tentang pembagian dengan skalar tak nol.

Struktur aljabar adalah kontrak: setiap jaminan tambahan membuat lebih banyak transformasi dan penyusunan ulang aman digunakan.

Padanan semantik peta validitas operasi
Struktur	Operasi	Jaminan	Konsekuensi praktis
Group	Satu operasi, ⊙	Closure, asosiativitas, identitas, invers	Gabungkan dan batalkan elemen di bawah ⊙.
Ring	Penjumlahan dan perkalian	Penjumlahan adalah group; perkalian distributif terhadap penjumlahan	Kembangkan dan susun ulang aritmetika, tetapi pembagian tidak otomatis berlaku.
Field	Penjumlahan dan perkalian	Ring yang setiap elemen tak nolnya memiliki invers perkalian	Skalar tak nol dapat dibagi keluar dari kombinasi linear.

Peta ini adalah janji ringkas tentang apa yang diberikan oleh setiap nama. Peta ini tidak mengatakan bahwa setiap himpunan dengan simbol yang familier otomatis merupakan group, ring, atau field. Kita tetap harus memeriksa aturan yang relevan.

Group menjaga satu operasi tetap dapat dinavigasi

Group

Group adalah himpunan $G$ dengan satu operasi $\mathbin{\odot}$ yang memenuhi empat syarat:

Closure: $x\mathbin{\odot}y\in G$ setiap kali $x,y\in G$ .
Asosiativitas: $(x\mathbin{\odot}y)\mathbin{\odot}z = x\mathbin{\odot}(y\mathbin{\odot}z)$ .
Identitas: ada elemen $e\in G$ yang tidak mengubah elemen mana pun, sehingga $e\mathbin{\odot}x=x\mathbin{\odot}e=x$ .
Invers: setiap $x\in G$ memiliki pasangan $x^{-1}\in G$ yang mengembalikan operasi ke identitas: $x\mathbin{\odot}x^{-1}=x^{-1}\mathbin{\odot}x=e$ .

Notasi $x^{-1}$ berarti “invers di bawah operasi ini”. Notasi itu tidak selalu berarti kebalikan $1/x$ .

Bilangan bulat dengan penjumlahan, $(\mathbb{Z},+)$ , membentuk group. Identitasnya adalah $0$ , dan invers dari $7$ adalah $-7$ karena $7+(-7)=0$ . Bilangan bulat tak negatif dengan penjumlahan bukan group: himpunan itu memiliki identitas, tetapi invers dari $7$ seharusnya $-7$ , yang tidak berada di $\mathbb{N}_0$ .

Bilangan real dengan perkalian, $(\mathbb{R},\times)$ , juga bukan group karena $0$ tidak memiliki invers perkalian. Jika nol dihapus, hasilnya $(\mathbb{R}\setminus\{0\},\times)$ adalah group Abelian: perkalian asosiatif dan komutatif, $1$ adalah identitas, dan setiap bilangan real tak nol memiliki kebalikan.

Jadi, invers menjawab pertanyaan konkret: dapatkah operasi ini dibatalkan sambil tetap berada dalam himpunan yang sama? Itu berguna dalam transformasi, tetapi berlaku untuk satu operasi pada satu waktu. Group terhadap penjumlahan tidak otomatis mengizinkan pembagian.

Ring menambahkan operasi kedua

Ring menggabungkan penjumlahan dan perkalian. Dalam konvensi yang dipakai di sini, ring memiliki identitas perkalian $1$ dan mengikuti aturan berikut:

elemennya membentuk group Abelian di bawah penjumlahan;
perkalian tertutup dan asosiatif;
perkalian distributif terhadap penjumlahan:

a(b+c)=ab+ac, \qquad (a+b)c=ac+bc.

Bilangan bulat $\mathbb{Z}$ adalah ring di bawah penjumlahan dan perkalian biasa. Misalnya, perkalian distributif terhadap penjumlahan karena

3(4+(-2)) = 3\cdot 2 = 6

dan

3\cdot4 + 3\cdot(-2)=12-6=6.

Namun $\mathbb{Z}$ bukan field. Bilangan $2$ tidak memiliki invers perkalian di dalam bilangan bulat: persamaan $2q=1$ akan membutuhkan $q=1/2$ , yang bukan bilangan bulat. Ring mengizinkan penjumlahan, perkalian, dan distributivitas; ring tidak menjanjikan bahwa setiap elemen tak nol dapat dibagi keluar.

Field membuat aljabar skalar lengkap

Field adalah ring komutatif yang setiap elemennya yang tak nol memiliki invers perkalian. Bilangan rasional $\mathbb{Q}$ dan bilangan real $\mathbb{R}$ adalah field. Bilangan bulat bukan.

Kata “field” mengacu pada skalar, bukan bentuk tensor. Vektor dalam $\mathbb{R}^n$ memiliki $n$ koordinat real; matriks dalam $\mathbb{R}^{m\times n}$ memiliki $mn$ koordinat real. Entri keduanya berasal dari suatu field walaupun vektor dan matriks itu sendiri adalah jenis objek yang berbeda.

Perbedaan ini penting ketika derivasi memindahkan skalar melewati penjumlahan atau membagi dengan koefisien tak nol. Di dalam field, langkah-langkah itu memiliki dukungan aljabar yang diperlukan. Di dalam ring, sebagian sah dan sebagian lainnya mungkin tidak.

Contoh kerja: verifikasi aturan dengan angka kecil

Gunakan dua tes kecil. Pertama, penjumlahan modulo $4$ memiliki elemen $\{0,1,2,3\}$ . Hasil $3+2=5$ direpresentasikan sebagai $1$ setelah berputar kembali. Identitasnya adalah $0$ , dan invers aditifnya adalah

0^{-1}=0,\qquad 1^{-1}=3,\qquad 2^{-1}=2,\qquad 3^{-1}=1,

di mana superskrip berarti invers di bawah penjumlahan modular. Kedua, periksa identitas vektor-real yang diandalkan oleh layer linear. Misalkan

x=\begin{bmatrix}2\\-1\end{bmatrix}, \qquad y=\begin{bmatrix}1\\3\end{bmatrix}, \qquad \lambda=1.5.

Maka

\lambda(x+y) =1.5\begin{bmatrix}3\\2\end{bmatrix} =\begin{bmatrix}4.5\\3\end{bmatrix},

sedangkan

\lambda x+\lambda y =\begin{bmatrix}3\\-1.5\end{bmatrix} +\begin{bmatrix}1.5\\4.5\end{bmatrix} =\begin{bmatrix}4.5\\3\end{bmatrix}.

Kedua jalur memberikan hasil yang sama karena perkalian skalar distributif terhadap penjumlahan vektor. Identitas itu bukan kebetulan yang terikat pada nilai-nilai ini; identitas tersebut adalah salah satu aturan yang membuat $\mathbb{R}^n$ menjadi ruang vektor di atas field $\mathbb{R}$ .

NumPy memeriksa kedua perhitungan

import numpy as np

def add_mod(a, b, modulus):
    return (a + b) % modulus

elements = tuple(range(4))
closed = all(
    add_mod(a, b, 4) in elements
    for a in elements
    for b in elements
)
associative = all(
    add_mod(add_mod(a, b, 4), c, 4)
    == add_mod(a, add_mod(b, c, 4), 4)
    for a in elements
    for b in elements
    for c in elements
)
identity = next(
    e for e in elements
    if all(add_mod(e, a, 4) == a and add_mod(a, e, 4) == a for a in elements)
)
inverses = {
    a: next(b for b in elements if add_mod(a, b, 4) == identity)
    for a in elements
}

x = np.array([2.0, -1.0])
y = np.array([1.0, 3.0])
scale = 1.5
left = scale * (x + y)
right = scale * x + scale * y

print(closed, associative, identity, inverses)
print(np.allclose(left, right), left)

Output yang terverifikasi adalah:

True True 0 {0: 0, 1: 3, 2: 2, 3: 1}
True [4.5 3. ]

np.allclose menguji kesesuaian numerik dengan toleransi, bukan menuntut dua perhitungan floating-point memiliki representasi biner yang identik. Detail implementasi itu penting di batas model field ideal.

Mengapa operasi tensor mengasumsikan sebuah field

Sebagian besar perhitungan jaringan saraf menggunakan vektor, matriks, dan tensor berdimensi lebih tinggi yang entrinya merupakan pendekatan floating-point terhadap bilangan real. Sebagai contoh, dense layer berbentuk

y=Wx+b, \qquad W\in\mathbb{R}^{m\times n},\quad x\in\mathbb{R}^{n},\quad b,y\in\mathbb{R}^{m}.

Perkalian matriks-vektor berkembang menjadi penjumlahan dan perkalian skalar real. Penambahan bias kemudian menggunakan struktur aditif yang sama. Karena skalar dimodelkan sebagai elemen $\mathbb{R}$ , aturan pengelompokan ulang dan distributivitas yang biasa menjelaskan mengapa implementasi ekuivalen menghasilkan hasil matematis yang sama.

Itulah sebabnya pemeriksaan bentuk dan pemeriksaan aljabar adalah pertanyaan yang berbeda:

Kompatibilitas bentuk: dimensi dalam $W$ dan $x$ cocok, sehingga setiap dot product memiliki jumlah suku yang benar.
Validitas skalar: entri menggunakan sistem aritmetika dengan aturan penjumlahan, perkalian, dan kombinasi skalar yang diharapkan.

PyTorch memperlihatkan kedua lapisan kontrak tersebut. Tensor membawa dtype, device, dan layout, sedangkan torch.matmul mengubah perilaku menurut apakah inputnya berupa vektor, matriks, atau matriks ber-batch; lihat dokumentasi Tensor Attributes dan referensi torch.matmul. Aturan bentuk dari library tidak menggantikan model field. Aturan tersebut mengimplementasikan operasi tensor tertentu yang aritmetika skalarnya biasanya dimaksudkan untuk mendekati aritmetika real.

Inilah alasan aljabar sistem training dapat membentuk kombinasi linear fitur, bobot, dan update. Kalkulus menambahkan lapisan lain: sebuah operasi juga harus terdiferensiasi, atau memiliki subgradien maupun aturan backward yang terdefinisi, agar automatic differentiation dapat menggunakannya. Field membuat aritmetika forward koheren; field tidak menjamin setiap fungsi terdiferensiasi.

Kasus batas: float mesin hanya meniru field real

Bilangan real membentuk field dalam matematika. Dtype komputer yang terbatas adalah himpunan pola bit yang dibatasi dan dibulatkan, sehingga tidak dapat memenuhi setiap aturan bilangan real secara tepat. Tiga dampak praktis mengikutinya:

Pembulatan: nilai seperti 0.1 biasanya tidak memiliki representasi biner yang tepat, sehingga dua jalur yang secara matematis sama dapat berbeda pada bit terakhirnya.
Overflow: mengalikan dua nilai float32 yang besar dapat menghasilkan inf, sebuah nilai di luar model bilangan real biasa yang dipakai dalam derivasi.
Aritmetika pengecualian yang tidak valid: ekspresi seperti inf - inf menghasilkan nan, sehingga bahkan penyusunan ulang yang familier perlu diperiksa secara numerik.

Hal ini bukan sanggahan terhadap teorema bahwa $\mathbb{R}$ adalah field. Ini adalah peringatan bahwa float32 merupakan pendekatan terhadap $\mathbb{R}$ , dengan rentang terbatas dan perilaku pembulatan yang ditentukan oleh implementasi. Dalam praktik, gunakan toleransi yang sesuai, pantau nilai non-finite, dan perlakukan aturan field sebagai kontrak matematis yang didekati oleh implementasi.

Ada sumber kebingungan umum lain dalam kode array. Di NumPy, x * y berarti perkalian elementwise, sedangkan A @ x berarti perkalian matriks. Keduanya dapat menjadi operasi yang valid, tetapi memiliki makna matematis dan persyaratan bentuk yang berbeda. Broadcasting yang berhasil bukan bukti bahwa operasi tersebut sesuai dengan aljabar yang dimaksudkan oleh model.

Audit aljabar kecil untuk kode model

Saat derivasi atau ekspresi tensor terlihat mencurigakan, audit dalam urutan berikut:

Sebutkan himpunannya. Apakah nilainya bilangan real, bilangan bulat, residu modular, probabilitas, atau yang lain?
Sebutkan setiap operasi. Bedakan penjumlahan, perkalian skalar, perkalian elementwise, dan perkalian matriks.
Periksa closure. Apakah setiap hasil tetap berada di himpunan dan bentuk yang dimaksudkan?
Periksa jaminan yang diperlukan. Apakah digunakan invers, langkah distributif, atau pertukaran komutatif? Identifikasi aturan yang melegitimasinya.
Periksa perilaku mesin. Cari pembulatan, overflow, nan, inf, dan perbandingan yang sensitif terhadap toleransi.

Audit ini mengubah “rumus seharusnya bekerja” menjadi klaim yang dapat diuji. Pelajaran berikutnya memakai gagasan yang sama untuk menentukan apakah sekumpulan representasi merupakan ruang vektor. Di sana, closure terhadap penjumlahan vektor dan perkalian skalar akan menjadi uji utama.