Vectores como datos de IA: cómo las características convierten un documento en números

“Los modelos de IA usan datos. Los modelos de IA usan vectores.” (traducción) El lector ve una frase. Un modelo numérico necesita un conjunto fijo de posiciones que contengan números. Una codificación sencilla cuenta palabras seleccionadas y produce

Esos cuatro números no se explican por sí solos. Solo resultan útiles cuando una regla de codificación indica que la posición 1 cuenta ai, la posición 2 cuenta model, la posición 3 cuenta data y la posición 4 cuenta vector. Los números ordenados, junto con el significado de sus coordenadas, forman un vector de características.

Al terminar esta lección podrás leer vectores fila y columna, interpretar sus coordenadas como características, codificar a mano y con NumPy un documento pequeño y diagnosticar código cuyos valores son correctos pero cuyo orden de características o forma del array es incorrecto.

Resultado de aprendizaje: Leer vectores fila y columna e interpretar las coordenadas como características.

Esta lección retoma la Lección 5: índices de tensores para IA. Allí, un índice respondía «¿qué posición?». Aquí, las posiciones viajan juntas como una sola representación. El Mathematics for Machine Learning companion oficial desarrolla la notación de vectores fila y columna en la Sección 2.2. El documento, la regla de codificación, el cálculo, el código, el diagrama y las evaluaciones siguientes son originales.

Un vector necesita valores y significado de coordenadas

El superíndice $\mathsf{T}$ significa transpuesta: cambia una representación fila por una columna o una columna por una fila. La $\boldsymbol{x}$ en negrita nombra el vector completo; el símbolo normal $x_j$ nombra una coordenada. Así,

contienen los mismos cuatro valores de coordenadas, pero tienen orientaciones distintas.

En los datos de IA, las coordenadas suelen representar características acordadas y no casillas anónimas. Una característica es una propiedad medible que se entrega a un modelo. Puede ser un recuento de palabras, la intensidad de un píxel, una lectura de temperatura o una señal aprendida. Si $f_j$ nombra la característica $j$, un codificador $\phi$ puede asignar un elemento $d$ a

Esta ecuación separa dos trabajos. El codificador decide cómo medir cada característica. El vector conserva las mediciones resultantes en un orden fijo. Cada documento debe usar la misma característica en la misma coordenada para que un modelo posterior pueda comparar o combinar esos valores de forma coherente.

Construir un vector de documento coordenada a coordenada

Codifica este documento:

AI models use data. AI models use vectors.

Usa el vocabulario ordenado

Para este ejemplo deliberadamente pequeño, la regla de normalización convierte el texto a minúsculas, elimina la puntuación, cambia models por model y cambia vectors por vector. Ignora use porque esa palabra no tiene coordenada en el vocabulario fijo. Los sistemas de texto reales necesitan un tokenizador y un vocabulario documentados; esta regla de juguete se muestra para que cada recuento pueda auditarse.

Los tokens normalizados son

ai, model, use, data, ai, model, use, vector

Ahora calcula una coordenada cada vez:

Por tanto,

El diagrama hace visible el contrato de representación: cada recuento sigue la etiqueta de su característica hasta una coordenada. La columna tiene cuatro entradas, así que su forma es $4\times1$. Sigue representando un documento, no cuatro documentos.

Por qué las coordenadas fijas hacen posible el aprendizaje numérico

Un modelo no puede asociar un comportamiento a la coordenada 3 si para un documento esa coordenada significa data y para otro significa vector. Por eso, un mapa de características fija dos cosas entre ejemplos:

1. el número de coordenadas; y
2. la característica asignada a cada coordenada.

Para dos documentos cualesquiera $d_a$ y $d_b$, el valor en la posición $j$ debe ser el mismo tipo de medición $f_j$:

Este es el mecanismo que hay detrás del conocido software de vectorización de texto. La documentación oficial de scikit-learn CountVectorizer describe un vocabulario como un mapeo de términos a índices de características. Su método transform usa ese vocabulario para crear un array de recuentos documento-término con forma (n_samples, n_features): una fila por documento y una columna por característica del vocabulario.

El vector de recuentos es útil precisamente porque es selectivo. Conserva la frecuencia de las características elegidas. Descarta el orden original de las palabras, los límites entre frases y cualquier token ausente del vocabulario. Los dos documentos siguientes

ai model data
data model ai

se asignan ambos a $[1,1,1,0]^\mathsf{T}$ con esta codificación. Los vectores iguales significan recuentos conservados iguales, no prosa ni significado iguales.

Fila y columna son formas, no direcciones de lectura

El vector abstracto $\boldsymbol{x}$ pertenece a $\mathbb{R}^{4}$. Las matemáticas suelen mostrar sus coordenadas como una matriz columna de $4\times1$:

Al transponer esa representación columna se obtiene un vector fila:

La primera forma tiene cuatro filas y una columna; la segunda, una fila y cuatro columnas. Ninguna orientación cambia la asignación de coordenadas a características. La primera entrada sigue perteneciendo a ai, la segunda a model, y así sucesivamente.

La última línea marca un límite de implementación que conviene recordar. Un array NumPy unidimensional tiene un eje de longitud 4. No es un array fila o columna bidimensional. La documentación oficial de NumPy sobre ndarray define shape como una tupla que contiene el tamaño de cada dimensión del array, mientras que ndim cuenta los ejes. Para shape == (4,) solo hay un eje.

NumPy hace explícita la orientación al añadir un eje

Este ejemplo ejecutable reproduce el cálculo manual:

from collections import Counter

import numpy as np

document = "AI models use data. AI models use vectors."
vocabulary = ("ai", "model", "data", "vector")

raw_tokens = document.lower().replace(".", "").split()
normalization = {"models": "model", "vectors": "vector"}
tokens = [normalization.get(token, token) for token in raw_tokens]
counts = Counter(tokens)

x = np.array([counts[feature] for feature in vocabulary], dtype=np.int64)
column = x.reshape(-1, 1)
row = x.reshape(1, -1)

print("features:", vocabulary)
print("values:", x.tolist())
print("1-D shape:", x.shape)
print("column shape:", column.shape)
print("row shape:", row.shape)
print("x.T shape:", x.T.shape)

La salida verificada es:

features: ('ai', 'model', 'data', 'vector')
values: [2, 2, 1, 1]
1-D shape: (4,)
column shape: (4, 1)
row shape: (1, 4)
x.T shape: (4,)

La documentación oficial de numpy.reshape indica que un reshape compatible devuelve un array con una forma nueva sin cambiar sus datos. Aquí, reshape(-1, 1) pide a NumPy que infiera el número de filas y cree una columna; reshape(1, -1) pide una fila e infiere el número de columnas.

La última salida expone un error frecuente. La documentación oficial de numpy.transpose especifica que transponer un array 1-D devuelve una vista sin cambios. No existe un segundo eje que intercambiar. Usa x[:, np.newaxis] o x.reshape(-1, 1) para crear la forma (4, 1), y usa x[np.newaxis, :] o x.reshape(1, -1) para crear la forma (1, 4).

Tres arrays aparentemente correctos pueden describir datos distintos

La forma es solo la mitad del contrato. El orden de las características aporta la otra mitad. Supón que un pipeline declara

y guarda $[2,2,1,1]^\mathsf{T}$. Otro pipeline declara

pero pasa la misma secuencia numérica sin reordenarla. Bajo $G$, la primera coordenada afirma que data aparece dos veces, lo cual es falso para el documento. El array tiene la longitud y el dtype esperados, así que la validación de forma por sí sola no detectará el error semántico.

Un cambio correcto de $F$ a $G$ debe mover cada valor junto con su etiqueta:

Por tanto, el vector en el orden $G$ es $[1,1,2,2]^\mathsf{T}$.

Otros dos casos límite afinan la definición:

• Si un documento no contiene ninguno de los términos del vocabulario, se asigna al vector cero $[0,0,0,0]^\mathsf{T}$. Su dimensión sigue siendo 4; los ceros son valores de coordenadas, no coordenadas ausentes.
• Cuando $n=1$, un vector fila y uno columna tienen ambos forma $1\times1$ después de transponer. El caso de una sola coordenada oculta la diferencia de orientación visible, por lo que es un mal ejemplo para depurar formas.

La representación está lista solo cuando coinciden los valores, las etiquetas de características y la forma esperada. La Lección 15 sumará vectores componente a componente. Esa operación tendrá sentido porque la coordenada $j$ de ambas entradas se refiere al mismo tipo de señal: el invariante establecido aquí.

Comprueba tu comprensión

data, model, data, ai

column = x[:, np.newaxis]
print(column.shape)  # (4, 1)