La distancia depende de la geometría elegida

Cuando un enrutador de tickets de soporte, un recomendador o un sistema de recuperación busca el ejemplo almacenado más “cercano”, está tomando una decisión geométrica. Un punto que es el más cercano cuando cada coordenada contribuye por separado puede perder frente a otro punto cuando las coordenadas se combinan mediante la longitud al cuadrado. El algoritmo no se volvió inconsistente; cambió el significado de “cercano”.

Al terminar esta lección podrás derivar una distancia a partir de una norma, calcular una pequeña clasificación de vecinos más cercanos bajo varias métricas e identificar las decisiones de preprocesamiento y gestión de empates que hacen significativa esa clasificación.

Resultado de aprendizaje: Derivar la distancia a partir de una norma y comparar vecinos más cercanos.

Esta lección se basa en la Lección 040: L1, L2 y L-infinito interpretan el tamaño de forma distinta, que introdujo varias formas de medir el tamaño de un vector. La sección 3.3 del libro oficial Mathematics for Machine Learning proporciona la referencia matemática. El conjunto de datos, los cálculos, el código, la visualización y las evaluaciones de aquí son originales.

El punto más cercano empieza con un desplazamiento

Sean $x=(x_1,\ldots,x_n)$ y $y=(y_1,\ldots,y_n)$ dos puntos en $\mathbb{R}^n$ . Cada coordenada es una posición de característica; $n$ es el número de características. Para preguntar qué distancia hay entre $x$ e $y$ , primero resta coordenada por coordenada:

x-y=(x_1-y_1,\ldots,x_n-y_n).

Esta diferencia es un vector de desplazamiento. Indica cuánto debe moverse un punto en cada coordenada para llegar al otro. El orden cambia el signo del desplazamiento, pero una norma da el mismo tamaño en ambos sentidos porque $\lVert v\rVert=\lVert -v\rVert$ .

Los nombres describen reglas de movimiento distintas. L1, llamada a menudo distancia Manhattan, suma lo que se mueve en cada coordenada. L2 mide la longitud en línea recta del desplazamiento. L-infinito solo pregunta cuál es el mayor movimiento en una coordenada. Un modelo que usa una de estas medidas está declarando qué tipos de movimiento considera costosos.

La referencia de la sección 3.3 también conecta un producto interno con una norma mediante $\lVert v\rVert=\sqrt{\langle v,v\rangle}$ . Con el producto punto habitual, esta es la norma euclídea, por lo que $d_2(x,y)=\sqrt{\langle x-y,x-y\rangle}$ . Hay un matiz útil: la construcción de la distancia funciona para cualquier norma. L1 es una norma válida e induce una métrica válida, aunque no esté inducida por un producto interno en el sentido habitual de un espacio vectorial real.

Por qué hay que restar primero

La distancia compara dos ubicaciones mediante un único desplazamiento. No es la diferencia entre sus tamaños por separado. Por ejemplo, si $x=(1,1)$ y $y=(1,-1)$ , ambos puntos tienen norma L2 $\sqrt{2}$ , pero

x-y=(0,2),\qquad d_2(x,y)=\sqrt{0^2+2^2}=2.

Calcular $\lVert x\rVert_2-\lVert y\rVert_2=0$ borraría el hecho de que los puntos están separados verticalmente por dos unidades. La receta mental segura es restar primero y aplicar después la norma elegida.

Los mismos puntos pueden tener vecinos más cercanos distintos

Considera un punto de consulta $q=(0,0)$ y tres registros candidatos en una representación de dos características. Las coordenadas son deliberadamente pequeñas y sin unidades: representan valores después de elegir una representación de características, no una noción universal de similitud.

Punto	Descripción	Coordenadas
$A$	caso dominante en un eje	$(6,0)$
$B$	caso equilibrado	$(4,4)$
$C$	caso mixto	$(5,2)$

Calcula todas las distancias antes de ordenar

Como $q=(0,0)$ , cada desplazamiento es el propio candidato. Para el punto $A$ ,

\begin{aligned} A-q&=(6,0),\\ d_1(q,A)&=|6|+|0|=6,\\ d_2(q,A)&=\sqrt{6^2+0^2}=\sqrt{36}=6,\\ d_\infty(q,A)&=\max(|6|,|0|)=6. \end{aligned}

Para el punto $B$ ,

\begin{aligned} B-q&=(4,4),\\ d_1(q,B)&=|4|+|4|=8,\\ d_2(q,B)&=\sqrt{4^2+4^2}=\sqrt{32}\approx5.657,\\ d_\infty(q,B)&=\max(4,4)=4. \end{aligned}

Para el punto $C$ ,

\begin{aligned} C-q&=(5,2),\\ d_1(q,C)&=|5|+|2|=7,\\ d_2(q,C)&=\sqrt{5^2+2^2}=\sqrt{29}\approx5.385,\\ d_\infty(q,C)&=\max(5,2)=5. \end{aligned}

Ahora ordena cada columna de la distancia menor a la mayor:

\begin{aligned} \text{L1:}&\quad A\;(6),\ C\;(7),\ B\;(8),\\ \text{L2:}&\quad C\;(5.385),\ B\;(5.657),\ A\;(6),\\ \text{L-infinity:}&\quad B\;(4),\ C\;(5),\ A\;(6). \end{aligned}

La clasificación cambia porque las normas recompensan distintas formas de desplazamiento. Aquí L1 favorece el punto $A$ , dominante en un eje, porque tiene el menor movimiento total de coordenadas. L2 elige $C$ : la combinación de sus dos coordenadas forma un segmento recto más corto que la diagonal de $B$ y el largo segmento horizontal de $A$ . L-infinito elige $B$ porque ninguna coordenada individual se mueve más de $4$ .

Una consulta, tres mapas de vecinos

La tabla es el respaldo semántico completo: las distancias menores quedan más cerca de la consulta q = (0, 0).
Candidato	Coordenadas	L1suma de movimientos absolutos	L2longitud en línea recta	L-infinitomayor movimiento de una coordenada
A dominante en un eje	(6, 0)	6.000puesto 1	6.000puesto 3	6.000puesto 3
B equilibrado	(4, 4)	8.000puesto 3	5.657puesto 2	4.000puesto 1
C mixto	(5, 2)	7.000puesto 2	5.385puesto 1	5.000puesto 2
Dos candidatos más cercanos		A → C	C → B	B → C

Los números dentro de los círculos indican el puesto para esa métrica. El segmento discontinuo señala al candidato más cercano; los dos primeros puestos están delineados para que el mapa no dependa solo del color.

Para L1, el orden es A, después C y después B. Para L2, es C, después B y después A. Para L-infinito, es B, después C y después A. La consulta está en el origen en todos los paneles.

La geometría cambia el mapa de vecinos aunque las coordenadas de la consulta y de los candidatos permanezcan fijas.

La tabla y las etiquetas de puesto hacen que la conclusión esté disponible sin leer el SVG. La visualización añade una pista espacial: el extremo del segmento discontinuo cambia cuando cambia la métrica, mientras que las coordenadas permanecen fijas.

Una búsqueda transparente con NumPy

La documentación de NumPy para numpy.linalg.norm expone los dos controles necesarios aquí: ord elige el orden de la norma y axis elige el eje de coordenadas que se reduce. Por tanto, un lote de tres filas candidatas se procesa restando la consulta de cada fila y reduciendo cada fila por separado.

El siguiente código refleja la derivación en lugar de ocultarla en un objeto de vecinos más cercanos. Se ejecutó con NumPy; el orden impreso es el mismo que en el ejemplo desarrollado.

import numpy as np

query = np.array([0.0, 0.0])
points = np.array([[6.0, 0.0], [4.0, 4.0], [5.0, 2.0]])
labels = np.array(["A", "B", "C"])

difference = points - query
for name, order in [("L1", 1), ("L2", 2), ("L-infinity", np.inf)]:
    distances = np.linalg.norm(difference, ord=order, axis=1)
    ranked = np.argsort(distances, kind="stable")
    print(
        f"{name}: "
        + ", ".join(f"{labels[i]}={distances[i]:.3f}" for i in ranked)
    )

L1: A=6.000, C=7.000, B=8.000
L2: C=5.385, B=5.657, A=6.000
L-infinity: B=4.000, C=5.000, A=6.000

Hay tres operaciones separadas que conviene observar:

points - query realiza la resta antes de aplicar cualquier norma.
axis=1 calcula una norma por fila, de modo que cada candidato recibe una distancia.
argsort convierte las distancias en una clasificación; la norma no decide por sí sola cómo tratar los valores iguales.

Para un conjunto de datos más grande, la clase NearestNeighbors de scikit-learn empaqueta la misma idea. Su configuración metric="minkowski" usa el parámetro p, donde $p=1$ corresponde a L1 y $p=2$ a L2; su método kneighbors devuelve tanto las distancias como los índices. El estimador es útil cuando la búsqueda debe integrarse en un flujo de modelos, pero la versión con NumPy es mejor para depurar porque todos los arreglos intermedios quedan visibles.

Para este ejemplo exacto, la configuración de búsqueda equivalente es:

from sklearn.neighbors import NearestNeighbors

search = NearestNeighbors(n_neighbors=2, metric="minkowski", p=2)
search.fit(points)
distances, indices = search.kneighbors(query.reshape(1, -1))
nearest_labels = labels[indices[0]]

Cambiar p a 1 o np.inf cambia la geometría, pero mantiene fijos los datos y el valor de $k=2$ . La API no hace desaparecer la elección de la métrica; hace explícita esa elección en un parámetro.

Límites que cambian la respuesta

La distancia solo es precisa después de especificar el espacio de características, la métrica y la política de búsqueda. Estos son los casos que más probablemente hagan engañosa una pequeña demostración de vecinos más cercanos.

Los empates son información, no ruido

Sean $q=(0,0)$ , $u=(1,1)$ y $v=(2,0)$ . Ambos candidatos tienen

d_1(q,u)=|1|+|1|=2, \qquad d_1(q,v)=|2|+|0|=2.

Si $k=1$ , las matemáticas proporcionan un empate, no un ganador único. Un sistema de producción debe indicar una clave secundaria determinista, devolver todos los candidatos empatados o usar una política adecuada para su aplicación. La ordenación stable del código NumPy hace reproducibles las ejecuciones repetidas, pero no demuestra que la primera fila empatada sea más similar.

Los puntos idénticos tienen distancia cero

Si $x=y$ , entonces $x-y=(0,\ldots,0)$ y toda norma da $d(x,y)=0$ . Es una coincidencia exacta válida, no un error. Sin embargo, en una consulta sobre un conjunto de entrenamiento, consultar una fila contra la misma colección ajustada puede devolver la propia fila como vecino más cercano. Decide si las autocoincidencias son útiles antes de interpretar un resultado; una consulta externa que coincida por casualidad con una fila almacenada también debe recibir distancia cero.

El escalado de características forma parte de la geometría

Supón que una coordenada es el ingreso anual en dólares y otra es un conteo de cero a diez. La coordenada monetaria puede dominar una distancia L1 o L2 simplemente porque su unidad numérica es mayor. Estandarizar, cambiar la escala o asignar pesos del dominio cambia la geometría; no es un preámbulo cosmético. Ajusta cualquier regla de escalado dependiente de los datos con los datos de entrenamiento y aplica la misma regla a las consultas, o el mapa de vecinos puede filtrar información del conjunto de evaluación.

La distancia y la similitud coseno responden preguntas distintas

La distancia compara el desplazamiento entre dos puntos y, por tanto, incluye sus posiciones y magnitudes. La similitud coseno compara la dirección después de normalizar las longitudes. Para $x=(1,1)$ e $y=(10,10)$ ,

\cos(x,y)=\frac{x^\mathsf{T}y}{\lVert x\rVert_2\lVert y\rVert_2}=1,

porque los vectores apuntan exactamente en la misma dirección, mientras que

d_2(x,y)=\lVert x-y\rVert_2 =\sqrt{(-9)^2+(-9)^2}=9\sqrt{2}\approx12.728.

Un sistema de recuperación basado en representaciones vectoriales puede preferir el coseno cuando la dirección es la noción de coincidencia buscada. Una aplicación sensible a la escala puede preferir una distancia inducida por una norma. Ninguna elección es correcta de forma universal, y la similitud coseno necesita una política separada para el vector cero porque su dirección no está definida.

La alta dimensionalidad exige medir, no repetir un eslogan

En algunas distribuciones de datos de alta dimensión, las distancias al vecino más cercano y al más lejano pueden acercarse entre sí, haciendo que la clasificación discrimine menos. Beyer, Goldstein, Ramakrishnan y Shaft describen este resultado de concentración de distancias bajo condiciones específicas en su artículo sobre vecinos más cercanos. Ese resultado advierte sobre los supuestos de los datos y de la carga de trabajo; no es una ley que vuelva inútil todo espacio de representaciones vectoriales. Inspecciona las diferencias entre distancias de vecinos, valida la métrica con consultas reservadas y considera si la representación contiene muchas coordenadas irrelevantes antes de culpar al algoritmo de búsqueda.

La siguiente lección aísla la comparación direccional que la distancia mezcla deliberadamente con la longitud: Lección 044, Angles and Cosine Similarity. La página del curso de Math for AI en inglés mostrará esa lección cuando su conjunto de traducciones esté activo.