Curso de Matemáticas para IA · Lección 50 de 180

La proyección encuentra el punto más cercano

Calcula una proyección sobre una recta, verifica su residuo perpendicular y usa una comprobación transparente con NumPy para aproximar una observación dentro de un subespacio del modelo.

Comparte este artículo

Un sistema de IA a menudo tiene que explicar una observación con menos direcciones de las que contiene la propia observación. Si el subespacio del modelo es una recta, ¿qué punto de esa recta es la mejor explicación de un vector que no cae exactamente sobre ella?

Una proyección ortogonal responde a esa pregunta. Conserva la parte de la observación que apunta en la dirección del modelo y deja un residuo en ángulo recto. Ese residuo no es un resto impreciso: su longitud es el menor error euclídeo posible entre todos los puntos de la recta.

Al terminar esta lección podrás calcular la proyección de un vector sobre una recta, demostrar por qué su residuo es perpendicular, compararla con otros puntos candidatos e implementar el cálculo en NumPy sin formar una inversa matricial explícita.

Objetivo de aprendizaje: Calcular la proyección sobre una recta y explicar el residuo perpendicular.

Esta lección conecta la Lección 046: Las bases ortonormales simplifican las coordenadas, donde los productos internos leen coordenadas en una base conveniente, con la Lección 048: Los complementos ortogonales capturan lo que queda, donde un residuo se identificaba como una dirección fuera de un subespacio. El libro oficial Mathematics for Machine Learning sitúa este tema en la Sección 3.8. La recta, los números, la visualización, la implementación, la conexión con IA y las evaluaciones de aquí son originales.

Una recta ofrece una familia de modelos de una dirección

Sea b∈Rnb\in\mathbb{R}^n un vector de dirección no nulo. La recta que pasa por el origen con esa dirección es el subespacio unidimensional

U=span⁡{b}={tb:t∈R}.U=\operatorname{span}\{b\}=\{tb:t\in\mathbb{R}\}.

El escalar tt es una coordenada a lo largo de la recta. Cada valor de tt proporciona un punto candidato, así que proyectar una observación x∈Rnx\in\mathbb{R}^n sobre UU significa elegir la coordenada que haga que tbtb esté lo más cerca posible de xx.

La condición rTb=0r^{\mathsf T}b=0 basta para encontrar α\alpha. Sustituye p=αbp=\alpha b y desarrolla el producto punto:

0=(x−αb)Tb=xTb−αbTb.\begin{aligned} 0&=(x-\alpha b)^{\mathsf T}b\\ &=x^{\mathsf T}b-\alpha b^{\mathsf T}b. \end{aligned}

Como bb no es nulo, bTb=∥b∥22b^{\mathsf T}b=\lVert b\rVert_2^2 es positivo. Podemos dividir por él y obtener el coeficiente de proyección

α=xTbbTb.\boxed{\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}}.

El punto proyectado y el residuo se obtienen entonces por sustitución:

p=xTbbTb b,r=x−p.\boxed{p=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}\,b,\qquad r=x-p.}

Si bb tiene longitud uno, el denominador es 11: ese es el atajo de un sistema de coordenadas ortonormal. Para una dirección arbitraria, omitir bTbb^{\mathsf T}b supone silenciosamente que bb es un vector unitario.

Por qué el punto perpendicular es el punto más cercano

La comprobación del producto punto nos dice que el residuo es perpendicular, pero también demuestra la afirmación sobre el punto más cercano. Toma cualquier otro punto tbtb de la recta. Como p=αbp=\alpha b,

x−tb=(x−p)+(p−tb)=r+(α−t)b.x-tb=(x-p)+(p-tb)=r+(\alpha-t)b.

Los dos términos son perpendiculares: rr es perpendicular a bb, así que también es perpendicular al vector escalado (α−t)b(\alpha-t)b. El teorema de Pitágoras da ahora

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

El segundo término nunca es negativo y es 00 exactamente cuando t=αt=\alpha. Por tanto, p=αbp=\alpha b es el único punto más cercano de toda la recta. Por eso la longitud del residuo ∥r∥2\lVert r\rVert_2 también se llama error de proyección o error de reconstrucción de este modelo de una dirección.

Una proyección trabajada con una comprobación numérica del punto más cercano

Usa una observación y una dirección del modelo que deliberadamente no estén alineadas:

x=[31],b=[21].x=\begin{bmatrix}3\\1\end{bmatrix}, \qquad b=\begin{bmatrix}2\\1\end{bmatrix}.

El valor 1.41.4 gana incluso al compararlo con coordenadas candidatas cercanas:

Coordenada ttPunto candidato tbtbDistancia ∥x−tb∥2\lVert x-tb\rVert_2
00(0,0)(0,0)10≈3.162\sqrt{10}\approx3.162
11(2,1)(2,1)11
1.41.4(2.8,1.4)(2.8,1.4)5/5≈0.447\sqrt{5}/5\approx0.447
22(4,2)(4,2)2≈1.414\sqrt{2}\approx1.414

El candidato con t=1t=1 está más cerca que el de t=2t=2 porque 11 está más cerca de la coordenada óptima 1.41.4 a lo largo de la recta. La recta tiene infinitos candidatos, así que una tabla pequeña ilustra el teorema, pero no sustituye a la fórmula.

Arrastra una observación hasta su punto más cercano en una recta
Elige las coordenadas de la observación

La dirección de la recta es fija: b = (2, 1). Mueve x con los deslizadores y después compara el punto proyectado y el residuo en la tabla.

Acceso con teclado: enfoca el punto azul y usa las teclas de flecha para moverlo 0.25. Mantén pulsada Mayús para moverlo 1.

x = (3, 1); α = 1,4; p = (2,8, 1,4); r = (0,2, −0,4); r · b = 0; distancia = 0,45.

Observación, proyección y residuo perpendicularLa observación es (3, 1). Su proyección sobre la recta es (2,8, 1,4), y el residuo es (0,2, −0,4) con longitud 0,45. El residuo discontinuo encuentra la recta en un ángulo recto.x₁x₂U = span{b}x = (3, 1)p = (2,8, 1,4)r
Valores de la proyección actual, también disponibles sin el gráfico.
CantidadValorSignificado
Observación x(3, 1)El vector controlado por el lector que se está aproximando.
Coeficiente α1,4La coordenada a lo largo de la dirección del modelo.
Punto proyectado p(2,8, 1,4)El punto más cercano de la recta U.
Residuo r(0,2, −0,4)La parte que queda después de que la recta explica su contribución.
Residuo · dirección b0Cero dentro de la tolerancia de coma flotante indicada.
Longitud del residuo0,45El error de proyección euclídeo.
Distancias a algunos puntos candidatos de U.
Coordenada tPunto candidato tbDistancia a x
0(0, 0)3,16
1(2, 1)1
1,4 (el más cercano para este x)(2,8, 1,4)0,45
2(4, 2)1,41

Las tablas son el respaldo numérico completo. Mover x cambia todos los valores, pero la regla geométrica permanece: el residuo es perpendicular y la proyección minimiza la distancia.

La observación azul puede moverse con el puntero, los deslizadores de coordenadas o las teclas de flecha. El punto verde es su proyección sobre la recta discontinua; el segmento ámbar es el residuo perpendicular.

Una implementación transparente en NumPy

La implementación debe reflejar la derivación. numpy.dot calcula los productos internos unidimensionales, mientras que numpy.linalg.norm calcula las longitudes euclídeas. El código siguiente también compara la reconstrucción con la observación original y comprueba el producto punto perpendicular usando una tolerancia explícita. numpy.allclose compara matrices dentro de tolerancias absolutas y relativas; elegir la tolerancia forma parte de una prueba numérica, no es una forma de demostrar igualdad exacta en aritmética de coma flotante.

import numpy as np

x = np.array([3.0, 1.0])
b = np.array([2.0, 1.0])

coefficient = np.dot(x, b) / np.dot(b, b)
projected = coefficient * b
residual = x - projected

tolerance = 1e-12
reconstruction_ok = np.allclose(
    projected + residual, x, rtol=0.0, atol=tolerance
)
orthogonality_ok = np.isclose(
    np.dot(residual, b), 0.0, rtol=0.0, atol=tolerance
)

candidates = np.array([0.0, 1.0, 1.4, 2.0])
candidate_points = candidates[:, None] * b
candidate_distances = np.linalg.norm(x - candidate_points, axis=1)
best_candidate = candidates[np.argmin(candidate_distances)]

print(coefficient)
print(projected)
print(residual)
print(np.dot(residual, b))
print(np.linalg.norm(residual))
print(reconstruction_ok, orthogonality_ok)
print(candidate_distances)
print(best_candidate)

Salida verificada:

1.4
[2.8 1.4]
[ 0.2 -0.4]
4.440892098500626e-16
0.4472135954999579
True True
[3.16227766 1.         0.4472136  1.41421356]
1.4

No hay una inversa explícita en esta proyección sobre una recta. La única división es por el escalar bTbb^{\mathsf T}b, que es positivo porque la dirección no es nula. Para un subespacio del modelo de dimensión mayor, varios coeficientes quedan acoplados y la implementación necesita una resolución estable de álgebra lineal; las próximas lecciones harán explícita esa extensión.

Una dirección del modelo puede explicar un patrón de características de IA

Supón que un codificador produce una observación de dos características xx y que un experto del dominio ha identificado un patrón significativo bb. La recta U=span⁡{b}U=\operatorname{span}\{b\} contiene toda posible intensidad y signo de ese patrón. El coeficiente

α=xTbbTb\alpha=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}

es el mejor resumen de xx en un solo número usando esa dirección. Reconstruir αb\alpha b produce el componente explicado por el modelo; r=x−αbr=x-\alpha b es lo que ese modelo de una dirección no puede explicar. La comprobación de ortogonalidad dice que el residuo no contiene ningún componente adicional en la misma dirección, no que carezca de toda información.

Este es el núcleo geométrico de un ajuste de mínimos cuadrados con una característica. Si la dirección de la característica está normalizada, el denominador desaparece. Si la característica elegida no está normalizada, conservar el denominador impide que la escala arbitraria usada para escribir la misma recta cambie el punto reconstruido. En un flujo real de representación, la elección de la dirección y de la métrica aún debe validarse: un residuo pequeño significa «cercano según esta recta y esta distancia euclídea», no «semánticamente completo».

Casos límite que cambian la respuesta

Una dirección cero no es una recta. Si b=0b=0, entonces bTb=0b^{\mathsf T}b=0 y la fórmula del coeficiente divide por cero. No hay ninguna dirección sobre la que proyectar; una implementación de producción debe rechazar esta entrada en vez de fabricar un coeficiente.

Una recta afín tiene un desplazamiento. La fórmula anterior es para una recta que pasa por el origen. Para c+tbc+tb, primero centra la observación: proyecta x−cx-c sobre bb y después vuelve a sumar cc:

proj⁡c+span⁡{b}(x)=c+(x−c)TbbTbb.\operatorname{proj}_{c+\operatorname{span}\{b\}}(x) =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Aplicar directamente a xx la fórmula de la recta por el origen obligaría a que la respuesta estuviera en otra recta.

Ortogonal no significa irrelevante. Un residuo puede ser perpendicular a la dirección elegida del modelo y aun así contener una señal grande, una característica ausente o un error sistemático. La proyección solo responde a la pregunta que definen el subespacio y la distancia seleccionados.

La proyección convierte «¿qué explicación está más cerca?» en un coeficiente, un punto, un residuo y una comprobación de tolerancia reproducibles. La Lección 051 elevará esta operación de una sola observación a una matriz de proyección que puede transformar un conjunto de datos completo, mientras que la Lección 052 conectará la misma geometría del punto más cercano con la regresión de mínimos cuadrados.

Comprueba tu comprensión

Pregunta 1

Para x = (4, 1) y b = (1, 1), calcula el coeficiente de proyección α y el punto proyectado.

Mostrar la solución paso a paso

Primero calcula los dos productos punto:

xTb=4⋅1+1⋅1=5,bTb=12+12=2.x^{\mathsf T}b=4\cdot1+1\cdot1=5, \qquad b^{\mathsf T}b=1^2+1^2=2.

Por tanto α=5/2\alpha=5/2. Multiplica este escalar por bb:

p=52(1,1)=(52,52).p=\frac52(1,1)=\left(\frac52,\frac52\right).

El resultado está en la recta y=xy=x, ya que todo múltiplo de (1,1)(1,1) debe estar en ella.

Pregunta 2

Para el mismo x = (4, 1) y b = (1, 1), calcula el residuo y verifica que es perpendicular a b.

Mostrar la solución paso a paso

De la cuenta anterior,

r=x−p=(4,1)−(52,52)=(32,−32).r=x-p=(4,1)-\left(\frac52,\frac52\right) =\left(\frac32,-\frac32\right).

Ahora calcula el producto punto con la dirección de la recta:

rTb=32⋅1+(−32)⋅1=0.r^{\mathsf T}b=\frac32\cdot1+\left(-\frac32\right)\cdot1=0.

El cero confirma que el residuo es ortogonal a la dirección de la recta bajo el producto punto estándar.

Pregunta 3

¿Por qué el coeficiente de proyección incluye bᵀb en el denominador? ¿Qué saldría mal si se sustituyera b por 3b pero se omitiera el denominador?

Mostrar la solución paso a paso

El coeficiente se obtiene de la ecuación de ortogonalidad

0=(x−αb)Tb=xTb−αbTb.0=(x-\alpha b)^{\mathsf T}b=x^{\mathsf T}b-\alpha b^{\mathsf T}b.

Despejar α\alpha requiere dividir por bTbb^{\mathsf T}b, que tiene en cuenta la longitud de la dirección. Si bb se sustituye por 3b3b, el numerador xT(3b)x^{\mathsf T}(3b) también se multiplica por 33, mientras que el denominador correcto se multiplica por 99. Por eso la razón se vuelve un tercio de grande y el producto final α(3b)\alpha(3b) no cambia. Omitir el denominador haría que el resultado dependiera de la escala arbitraria usada para escribir la misma recta.

Pregunta 4

Explica por qué la proyección está más cerca que un candidato arbitrario tb sin comprobar una larga lista de puntos candidatos.

Mostrar la solución paso a paso

Escribe la observación como x=p+rx=p+r con p=αbp=\alpha b y r⊥br\perp b. Para cualquier candidato tbtb,

x−tb=r+(α−t)b.x-tb=r+(\alpha-t)b.

Los dos términos son perpendiculares, así que Pitágoras da

∥x−tb∥22=∥r∥22+(α−t)2∥b∥22.\lVert x-tb\rVert_2^2 =\lVert r\rVert_2^2+(\alpha-t)^2\lVert b\rVert_2^2.

El término adicional es no negativo y solo desaparece cuando t=αt=\alpha, porque b≠0b\ne0. Así, la proyección tiene la menor distancia en toda la recta, no solo entre los candidatos que casualmente muestreamos.

Pregunta 5

En el ejemplo trabajado x = (3, 1) y b = (2, 1), compara con la proyección los puntos candidatos para t = 1 y t = 2. ¿Cuáles son sus distancias y por qué la simetría aparente no es válida aquí?

Mostrar la solución paso a paso

La coordenada de proyección es α=1.4\alpha=1.4 y su distancia es 5/5≈0.447\sqrt5/5\approx0.447. Para t=1t=1, el punto es (2,1)(2,1) y la diferencia con xx es (1,0)(1,0), así que la distancia es 11. Para t=2t=2, el punto es (4,2)(4,2) y la diferencia es (−1,−1)(-1,-1), así que la distancia es 2≈1.414\sqrt2\approx1.414. No son iguales porque la observación no está situada simétricamente alrededor del intervalo de coordenadas [1,2][1,2] de la recta en la métrica euclídea. Volver a calcular el punto y la diferencia evita que un valor copiado de la tabla oculte un error aritmético.

Pregunta 6

Una implementación imprime un producto punto del residuo de −2.2 × 10⁻¹⁶. ¿Debe rechazar la proyección porque el valor no es literalmente cero?

Mostrar la solución paso a paso

No. El resultado matemático es cero, mientras que la aritmética binaria de coma flotante puede dejar un resto diminuto por redondeo. Elige una tolerancia que se ajuste a la escala de las entradas y comprueba el resultado con una comparación tolerante, por ejemplo np.isclose(np.dot(residual, b), 0.0, rtol=0.0, atol=1e-12). La tolerancia no debe copiarse ciegamente para datos muy grandes o muy pequeños; forma parte del contrato numérico.

Pregunta 7

¿Qué cambia si la familia del modelo es la recta afín c + tb en lugar de la recta que pasa por el origen?

Mostrar la solución paso a paso

El desplazamiento cambia qué puntos son candidatos, así que primero traslada la observación mediante cc:

y=x−c.y=x-c.

Proyecta yy sobre la dirección bb usando

α=yTbbTb.\alpha=\frac{y^{\mathsf T}b}{b^{\mathsf T}b}.

Después traslada de vuelta:

p=c+αb=c+(x−c)TbbTbb.p=c+\alpha b =c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Usar xx en lugar de x−cx-c resolvería el problema de la recta por el origen y puede colocar el resultado fuera de la familia de modelos afines prevista.

Pregunta 8

Un ingeniero de IA afirma: "El residuo es ortogonal a la dirección del modelo, así que no contiene información útil." ¿Qué parte es correcta y cuál es demasiado fuerte?

Mostrar la solución paso a paso

La parte correcta es geométrica: el residuo tiene producto punto cero con la dirección elegida, de modo que el modelo no puede reducirlo cambiando solo el coeficiente escalar en esa dirección. La conclusión sobre su utilidad es demasiado fuerte. El residuo puede contener otra característica, un error sistemático, ruido o una dirección completa que el modelo unidimensional omitió. La ortogonalidad es relativa al subespacio y la métrica elegidos; no afirma que el resto de los datos carezca de significado.

Fuentes

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.dot
  3. NumPy documentation: numpy.linalg.norm
  4. NumPy documentation: numpy.allclose