Índices de tensores para IA: lectura de muestras, tokens y características

Un programa de IA lee X[1, 2, 0] y devuelve 0.8. Una expresión cercana, X[1, 0, 2], devuelve 0.3. Ambas direcciones son válidas. Solo una significa «la primera característica del último token del segundo ejemplo».

La diferencia es un índice: una posición utilizada para localizar un valor dentro de una estructura ordenada. Los índices son pequeñas piezas de notación, pero determinan qué ejemplo, token, característica, píxel o salida del modelo utiliza realmente un cálculo. Por eso, un índice incorrecto puede producir un número aparentemente creíble en lugar de un error útil.

Al terminar esta lección, podrás leer muestras y coordenadas indexadas, seguir una dirección de tensor lote-token-característica, traducir un subíndice matemático a NumPy y detectar una dirección cuyos números son legales pero cuyos significados de eje son incorrectos. Esto añade orden a las colecciones de datos de la lección 4. El sitio oficial complementario de Mathematics for Machine Learning sitúa esta notación en el recorrido que va de los datos numéricos a los vectores, matrices y modelos utilizados más adelante en el curso.

Un índice responde «¿qué posición?»

Supón que un dataset ordenado contiene tres ejemplos:

El subíndice de $x_2$ dice «selecciona el ejemplo de la posición 2». No dice que el valor del ejemplo sea 2. Si el segundo ejemplo es el par $x_2=(1.7,-0.4)$, entonces $x_2$ nombra el par completo.

Añade un segundo subíndice para seleccionar una coordenada dentro de ese ejemplo:

Lee $x_{2,1}$ de izquierda a derecha: elige el ejemplo 2 y después la coordenada 1. Los índices forman una dirección; el número almacenado en esa dirección es el valor.

Esto también separa la posición de la identidad. Mover una muestra de la posición 2 a la posición 7 cambia su índice aunque su identificador estable, los píxeles de la imagen y la etiqueta no cambien. Los índices son direcciones útiles, no nombres permanentes de objetos del mundo real.

Cada subíndice elige un eje

Un eje es una dirección en la que se organiza un array. Una tabla tiene un eje de filas y otro de columnas. Aquí, un tensor es un array multidimensional: puede tener esos dos ejes o añadir más para conceptos como lotes y tokens.

Considera un tensor de activaciones

donde:

• $B$ es el número de ejemplos del lote;
• $T$ es el número de posiciones de token por ejemplo; y
• $F$ es el número de características almacenadas para cada token.

La notación $\mathbb{R}^{B\times T\times F}$ dice que cada entrada es un número real y que el tensor tiene forma $B\times T\times F$. Una entrada escalar es

que significa: elige la posición de lote $b$, la posición de token $t$ y la posición de característica $f$, en ese orden.

Para un tensor con forma $2\times3\times4$, una convención matemática basada en uno permite

La forma proporciona el rango de cada índice. Los nombres de los ejes proporcionan el significado. Ninguno de los dos hechos sustituye al otro.

Una dirección, seguida hasta llegar a un valor

Usa el siguiente tensor de dos lotes. Cada elemento del lote contiene tres filas de tokens y cada token tiene cuatro valores de características.

Esta lectura paso a paso importa más que memorizar un orden de letras. Otro proyecto podría almacenar los tokens antes que los lotes o usar ejes de altura, anchura y canal para imágenes. El código y la documentación deben declarar el contrato.

NumPy empieza en cero

Muchos textos de matemáticas etiquetan las posiciones empezando en 1. Python y NumPy utilizan indexación basada en cero, así que la primera posición es 0. La guía oficial de indexación de NumPy también confirma que un entero por dimensión selecciona un elemento y que el índice no negativo válido para un eje de tamaño $d$ satisface $0\le i<d$.

Este es el tensor completo y varias selecciones verificadas:

import numpy as np

X = np.array([
    [[ 0.2,  0.8, -0.1,  0.4],
     [ 1.1, -0.3,  0.5,  0.0],
     [ 0.7,  0.6,  0.2, -0.4]],
    [[-0.2,  0.9,  0.3,  0.1],
     [ 0.4, -0.7,  1.2,  0.5],
     [ 0.8,  0.1, -0.6,  1.5]],
])

print("shape:", X.shape)
print("one activation:", X[1, 2, 0])
print("last token of example 2:", X[1, 2])
print("feature 1 of every last token:", X[:, 2, 0])

shape: (2, 3, 4)
one activation: 0.8
last token of example 2: [ 0.8  0.1 -0.6  1.5]
feature 1 of every last token: [0.7 0.8]

Los dos puntos de X[:, 2, 0] significan «conserva todas las posiciones de este eje». El primer eje permanece, mientras que token y característica reciben índices específicos, así que el resultado contiene un valor por cada uno de los dos elementos del lote.

El atributo shape informa de (2, 3, 4), pero la tupla por sí sola no dice «lote, token, característica». Esos nombres proceden del contrato de datos del programa.

Una dirección legal aún puede expresar la pregunta equivocada

Volvamos a las expresiones iniciales:

X[1, 2, 0]  # 0.8: batch 2, token 3, feature 1
X[1, 0, 2]  # 0.3: batch 2, token 1, feature 3

Ambas direcciones encajan en la forma. NumPy no puede saber que la segunda línea intercambió los significados de token y característica. Es un error de indexación semántico: el programa recupera una entrada real, pero no la que pretendía el cálculo.

Entre las defensas útiles están anotar el contrato de ejes junto al tensor, comprobar la forma en los límites y asignar nombres descriptivos a las variables de índice:

batch_index = 1
token_index = 2
feature_index = 0

activation = X[batch_index, token_index, feature_index]
assert X.shape == (2, 3, 4)
assert activation == 0.8

La aserción comprueba este ejemplo. Las variables descriptivas conservan el razonamiento que llevó a la dirección.

Los errores de límites son más seguros que los errores silenciosos de ejes

Para la forma basada en cero (2, 3, 4), la última dirección no negativa es X[1, 2, 3]. X[2, 0, 0] no es válida porque el índice de lote 2 pediría un tercer elemento de un eje que solo contiene dos. NumPy lanza IndexError en lugar de devolver un valor inventado.

Los índices negativos son una convención de Python: -1 selecciona la última posición de un eje, así que X[-1, -1, -1] es otra forma de leer X[1, 2, 3]. Es código válido, pero no debe traducirse silenciosamente a un subíndice matemático basado en uno. Declara la convención siempre que la distinción importe.

La próxima lección utilizará estas direcciones dentro de sumas. Cuando $x_i$ signifique claramente el $i$-ésimo ejemplo y $\ell_i$ su pérdida, un símbolo como $\sum_i\ell_i$ se convierte en una instrucción compacta para visitar cada pérdida indexada y combinar los valores.

Comprueba lo que has entendido

activation = X[1, 2, 0]  # 0.8