Las normas vectoriales miden el tamaño, no el significado

Dos vectores embedding pueden apuntar en la misma dirección y, aun así, tener magnitudes distintas. Por ejemplo, $(3,4)$ y $(6,8)$ son versiones escaladas: el segundo es el doble de largo. Una norma convierte un vector en un número no negativo que resume su tamaño según una regla concreta. Ese número puede ayudar a comparar escalas o describir una penalización de parámetros, pero no clasifica la importancia semántica de un embedding.

Al terminar esta lección, podrás calcular las normas vectoriales $L_1$ , $L_2$ y $L_\infty$ , comprobar las propiedades que convierten una función en norma y usar NumPy para calcular tamaños de vectores sin confundir un conjunto de vectores con una sola matriz.

Resultado de aprendizaje: Calcular normas vectoriales comunes y comprobar sus propiedades.

Esta lección parte de la Lección 014: Vectores como datos de IA, donde las coordenadas eran características en un orden fijo. La sección 3.1 de Mathematics for Machine Learning presenta las normas como formas de medir la longitud de un vector. Los ejemplos, el código, la visualización y las evaluaciones de esta lección son originales.

Una norma es una regla de tamaño con tres promesas

Sean $x$ e $y$ vectores de $\mathbb{R}^n$ , y sea $c$ cualquier número real. Una función $\lVert\cdot\rVert$ es una norma vectorial si cumple estas tres reglas:

La primera regla dice que el tamaño de un vector no puede ser negativo y que solo el vector cero tiene tamaño cero. La segunda indica que multiplicar un vector por un número negativo también multiplica su tamaño por el valor absoluto de ese escalar. La tercera establece que la suma de dos vectores no puede tener un tamaño mayor que la suma de sus tamaños por separado.

Tres reglas habituales aplicadas al mismo vector

Para $x=(x_1,\ldots,x_n)$ , las normas habituales son

\lVert x\rVert_1=\sum_{i=1}^n |x_i|,\qquad \lVert x\rVert_2=\sqrt{\sum_{i=1}^n x_i^2},\qquad \lVert x\rVert_\infty=\max_i |x_i|.

El subíndice indica la regla. $L_1$ suma los tamaños absolutos de las coordenadas, $L_2$ usa la longitud euclídea habitual y $L_\infty$ toma la coordenada con mayor valor absoluto. Son tres resúmenes distintos del mismo vector; sus coordenadas no cambian.

Tomemos el vector $x=(3,-4)$ . Que la segunda coordenada sea negativa importa para algunas operaciones, pero estas reglas de tamaño utilizan valores absolutos o cuadrados:

La bola unidad euclídea es el conjunto de vectores de dos coordenadas cuya norma $L_2$ no supera uno. El punto $(0.6,0.8)$ está en su borde porque $\sqrt{0.6^2+0.8^2}=1$ .

La bola unidad euclídea contiene vectores de longitud como máximo 1Todos los puntos dentro del círculo o sobre él tienen una norma L₂ no superior a 1. El vector marcado, (0.6, 0.8), llega al borde.

Bola unidad L₂: ‖x‖₂ ≤ 1

La región sombreada representa una regla, no solo una forma: contiene el origen y todos los vectores cuya longitud $L_2$ no supera uno. En el borde, la longitud es exactamente uno. En dimensiones mayores, el mismo conjunto también se llama bola, aunque ya no se pueda dibujar como un disco.

Comprueba las tres promesas

La positividad definida se deduce directamente de cada fórmula. Una suma de valores absolutos o de cuadrados solo puede valer cero si todas las coordenadas son cero. El máximo de valores absolutos también solo vale cero cuando todas las coordenadas son cero. Cada fórmula es no negativa y devuelve cero para el vector cero.

Para comprobar la homogeneidad absoluta, toma $x=(3,-4)$ y multiplícalo por $c=-2$ :

-2x=(-6,8),\qquad \lVert -2x\rVert_1=14=2\cdot7,\quad \lVert -2x\rVert_2=10=2\cdot5,\quad \lVert -2x\rVert_\infty=8=2\cdot4.

El valor absoluto de $c$ es esencial. Un escalar negativo invierte la dirección del vector, pero la longitud no se vuelve negativa.

También se puede comprobar la desigualdad triangular a partir de las fórmulas. Para $L_1$ , se cumple $|x_i+y_i|\le |x_i|+|y_i|$ en cada coordenada; al sumar esas desigualdades se obtiene $\lVert x+y\rVert_1\le\lVert x\rVert_1+\lVert y\rVert_1$ . Para $L_2$ , se trata del conocido hecho geométrico de que un lado de un triángulo no supera la suma de los otros dos. Para $L_\infty$ ,

\lVert x+y\rVert_\infty =\max_i|x_i+y_i| \le\max_i(|x_i|+|y_i|) \le\max_i|x_i|+\max_i|y_i|.

Por tanto, cada norma supera las tres comprobaciones. Un ejemplo numérico puede poner a prueba si entiendes una regla, mientras que el razonamiento anterior explica por qué se cumple para todos los vectores.

Calcula tamaños vectoriales con NumPy

NumPy ofrece estos cálculos mediante numpy.linalg.norm. Para un array unidimensional, especifica ord para elegir una norma vectorial:

import numpy as np

x = np.array([3.0, -4.0])
print(np.linalg.norm(x, ord=1))
print(np.linalg.norm(x, ord=2))
print(np.linalg.norm(x, ord=np.inf))

La salida es 7.0, 5.0 y 4.0. Si se omite ord en un array unidimensional, el valor predeterminado es la norma $L_2$ .

Una tabla de embeddings suele ser un array bidimensional, con un embedding por fila. Para obtener una norma $L_2$ por embedding, especifica el eje de las filas:

embeddings = np.array([[3.0, 4.0], [6.0, 8.0]])
row_norms = np.linalg.norm(embeddings, ord=2, axis=1)
print(row_norms)

La salida es [5. 10.]. La norma del segundo vector duplica la del primero, aunque ambos apunten en la misma dirección. Con una entrada bidimensional y sin axis, NumPy interpreta la entrada como una matriz; una norma matricial no equivale a calcular una norma vectorial para cada fila. La documentación describe axis como la dimensión a lo largo de la cual se calculan las normas vectoriales.

Una norma vectorial indica el tamaño de una representación según la regla elegida para sus coordenadas. No indica que un embedding más grande sea más relevante, preciso o importante desde el punto de vista semántico. Para llegar a esas conclusiones hacen falta una tarea específica del modelo y su evaluación; la magnitud escalar por sí sola no basta.

Una penalización de parámetros está relacionada con una norma, pero no siempre es la norma misma

Una función objetivo de optimización puede añadir un término que penalice vectores de parámetros $w$ grandes. Por ejemplo, una penalización $L_1$ añade $\lambda\lVert w\rVert_1$ , mientras que una penalización $L_2$ al cuadrado añade $\lambda\lVert w\rVert_2^2$ , con $\lambda\ge0$ como peso de la penalización. Para $w=(3,-4)$ , $\lVert w\rVert_1=7$ , mientras que $\lVert w\rVert_2^2=25$ .

El cuadrado de la segunda expresión importa: $\lVert w\rVert_2^2$ no es una norma. La homogeneidad de una norma escala el valor por $|c|$ , no por $c^2$ : $\lVert cw\rVert_2^2=c^2\lVert w\rVert_2^2$ . Además, las dos fórmulas de penalización tienen escalas numéricas distintas, así que usar el mismo $\lambda$ no hace que sus efectos sean comparables. La norma vectorial explica qué mide una penalización; la función objetivo y su coeficiente determinan cómo afecta esa medida al entrenamiento.

Hay un detalle del software que conviene tener presente. El parámetro ord de NumPy admite valores menores que 1 con fines numéricos, pero su documentación indica explícitamente que esos resultados no son normas matemáticas. Por ejemplo, si $f(x)=(\sum_i|x_i|^{1/2})^2$ , entonces $f((1,0))=1$ y $f((0,1))=1$ , mientras que $f((1,1))=4$ . Como $4>1+1$ , falla la desigualdad triangular. Usa ord=0.5 cuando necesites específicamente esa expresión numérica, no cuando quieras una norma vectorial con las tres garantías anteriores.

Una vez claras las propiedades y la diferencia de implementación, el siguiente paso es comparar las geometrías que producen distintas normas válidas y cómo esas elecciones cambian las ideas de distancia y restricción.