Indeks Tensor untuk AI: Membaca Sampel, Token, dan Fitur

Sebuah program AI membaca X[1, 2, 0] dan mengembalikan 0.8. Ekspresi di dekatnya, X[1, 0, 2], mengembalikan 0.3. Kedua alamat valid. Hanya satu yang berarti “fitur pertama dari token terakhir pada contoh kedua.”

Perbedaannya adalah indeks: posisi yang digunakan untuk menemukan nilai di dalam struktur berurutan. Indeks adalah bagian kecil dari notasi, tetapi menentukan contoh, token, fitur, piksel, atau keluaran model mana yang benar-benar digunakan dalam perhitungan. Karena itu, indeks yang keliru dapat menghasilkan angka yang tampak masuk akal alih-alih kesalahan yang membantu.

Di akhir pelajaran ini, Anda akan mampu membaca sampel dan koordinat berindeks, mengikuti alamat tensor batch-token-fitur, menerjemahkan subskrip matematika ke NumPy, dan mendeteksi alamat yang angkanya legal tetapi makna sumbunya keliru. Pelajaran ini menambahkan urutan pada koleksi dataset dari Pelajaran 4. Situs pendamping resmi Mathematics for Machine Learning menempatkan notasi ini pada jalur dari data numerik menuju vektor, matriks, dan model yang digunakan nanti dalam kursus.

Indeks menjawab “posisi yang mana?”

Misalkan sebuah dataset berurutan berisi tiga contoh:

Subskrip dalam $x_2$ berarti “pilih contoh pada posisi 2.” Itu tidak berarti nilai contoh tersebut adalah 2. Jika contoh kedua adalah pasangan $x_2=(1.7,-0.4)$, maka $x_2$ menamai seluruh pasangan itu.

Tambahkan subskrip kedua untuk memilih koordinat di dalam contoh tersebut:

Baca $x_{2,1}$ dari kiri ke kanan: pilih contoh 2, lalu koordinat 1. Indeks membentuk alamat; angka yang tersimpan di alamat itu adalah nilainya.

Ini juga memisahkan posisi dari identitas. Memindahkan sampel dari posisi 2 ke posisi 7 mengubah indeksnya meskipun ID stabil, piksel gambar, dan labelnya tidak berubah. Indeks adalah alamat yang berguna, bukan nama permanen untuk objek dunia nyata.

Setiap subskrip memilih satu sumbu

Sumbu adalah satu arah tempat array diorganisasi. Tabel memiliki sumbu baris dan sumbu kolom. Di sini, tensor adalah array multidimensi: tensor dapat memiliki kedua sumbu tersebut atau menambahkan sumbu lain untuk konsep seperti batch dan token.

Pertimbangkan tensor aktivasi

dengan:

• $B$ adalah jumlah contoh dalam batch;
• $T$ adalah jumlah posisi token per contoh; dan
• $F$ adalah jumlah fitur yang disimpan untuk setiap token.

Notasi $\mathbb{R}^{B\times T\times F}$ menyatakan bahwa setiap entri adalah bilangan real dan tensor memiliki bentuk $B\times T\times F$. Satu entri skalar adalah

yang berarti: pilih posisi batch $b$, posisi token $t$, dan posisi fitur $f$, dalam urutan tersebut.

Untuk tensor dengan bentuk $2\times3\times4$, konvensi matematika yang dimulai dari satu memungkinkan

Bentuk menyediakan rentang setiap indeks. Nama sumbu menyediakan maknanya. Tidak satu pun fakta menggantikan fakta lainnya.

Satu alamat, ditelusuri sampai menjadi nilai

Gunakan tensor dua batch berikut. Setiap item batch berisi tiga baris token, dan setiap token memiliki empat nilai fitur.

Pembacaan bertahap ini lebih penting daripada menghafal urutan huruf. Proyek lain mungkin menyimpan token sebelum batch, atau menggunakan sumbu tinggi, lebar, dan kanal untuk gambar. Kode dan dokumentasi harus menyatakan kontraknya.

NumPy dimulai dari nol

Banyak teks matematika memberi label posisi mulai dari 1. Python dan NumPy menggunakan pengindeksan berbasis nol, jadi posisi pertama adalah 0. Panduan pengindeksan resmi NumPy juga mengonfirmasi bahwa satu bilangan bulat per dimensi memilih satu elemen dan bahwa indeks nonnegatif yang valid untuk sumbu berukuran $d$ memenuhi $0\le i<d$.

Berikut tensor lengkap dan beberapa pilihan yang telah diverifikasi:

import numpy as np

X = np.array([
    [[ 0.2,  0.8, -0.1,  0.4],
     [ 1.1, -0.3,  0.5,  0.0],
     [ 0.7,  0.6,  0.2, -0.4]],
    [[-0.2,  0.9,  0.3,  0.1],
     [ 0.4, -0.7,  1.2,  0.5],
     [ 0.8,  0.1, -0.6,  1.5]],
])

print("shape:", X.shape)
print("one activation:", X[1, 2, 0])
print("last token of example 2:", X[1, 2])
print("feature 1 of every last token:", X[:, 2, 0])

shape: (2, 3, 4)
one activation: 0.8
last token of example 2: [ 0.8  0.1 -0.6  1.5]
feature 1 of every last token: [0.7 0.8]

Titik dua dalam X[:, 2, 0] berarti “pertahankan setiap posisi pada sumbu ini.” Sumbu pertama tetap dipertahankan, sedangkan token dan fitur menerima indeks spesifik, sehingga hasilnya berisi satu nilai untuk masing-masing dari dua item batch.

Atribut shape melaporkan (2, 3, 4), tetapi tuple itu sendiri tidak mengatakan “batch, token, fitur.” Nama-nama tersebut berasal dari kontrak data program.

Alamat yang legal masih dapat menyatakan pertanyaan yang salah

Kembali ke ekspresi pembuka:

X[1, 2, 0]  # 0.8: batch 2, token 3, feature 1
X[1, 0, 2]  # 0.3: batch 2, token 1, feature 3

Kedua alamat cocok dengan bentuk tersebut. NumPy tidak tahu bahwa baris kedua menukar makna token dan fitur. Ini adalah bug pengindeksan semantik: program mengambil entri nyata, tetapi bukan entri yang dimaksudkan perhitungan.

Pertahanan yang berguna mencakup menamai kontrak sumbu di samping tensor, memeriksa bentuk di batas-batas, dan memberi nama deskriptif pada variabel indeks:

batch_index = 1
token_index = 2
feature_index = 0

activation = X[batch_index, token_index, feature_index]
assert X.shape == (2, 3, 4)
assert activation == 0.8

Assertion memeriksa contoh ini. Variabel deskriptif mempertahankan penalaran yang menghasilkan alamat tersebut.

Kesalahan batas lebih aman daripada kesalahan sumbu yang diam-diam

Untuk bentuk berbasis nol (2, 3, 4), alamat nonnegatif terakhir adalah X[1, 2, 3]. X[2, 0, 0] tidak valid karena indeks batch 2 meminta item ketiga dari sumbu yang hanya berisi dua item. NumPy memunculkan IndexError, bukan mengembalikan nilai yang dibuat-buat.

Indeks negatif adalah konvensi Python: -1 memilih posisi terakhir pada suatu sumbu, jadi X[-1, -1, -1] adalah cara lain untuk membaca X[1, 2, 3]. Kode itu valid, tetapi tidak boleh diterjemahkan diam-diam menjadi subskrip matematika berbasis satu. Nyatakan konvensinya setiap kali perbedaannya penting.

Pelajaran berikutnya akan menggunakan alamat ini di dalam penjumlahan. Setelah $x_i$ jelas berarti contoh ke-$i$ dan $\ell_i$ berarti loss-nya, simbol seperti $\sum_i\ell_i$ menjadi instruksi ringkas untuk mengunjungi setiap loss berindeks dan menggabungkan nilainya.

Uji pemahaman

activation = X[1, 2, 0]  # 0.8