Curso de Matemáticas para IA · Lección 51 de 180

Las matrices de proyección transforman conjuntos de datos completos

Construye una matriz de proyección sobre una recta, aplícala a cada fila de un conjunto de datos y verifica la geometría con comprobaciones de simetría e idempotencia en NumPy.

Comparte este artículo

Una proyección puede explicar una observación con una sola dirección. Para un flujo de IA, la pregunta más útil es qué ocurre cuando la observación es un conjunto de datos: ¿puede una misma regla lineal pequeña transformar todas las filas de manera coherente?

Sí. Una matriz de proyección aplica la misma operación de punto más cercano a cada muestra. Conserva la componente en la dirección elegida y elimina la componente ortogonal, de modo que una nube de puntos se convierte en una representación de una sola dirección, mientras cada salida conserva el número original de coordenadas.

Al terminar esta lección podrás construir una matriz de proyección sobre una recta, aplicarla a un conjunto de datos almacenado por filas y comprobar las dos identidades que hacen que sea una proyección: simetría e idempotencia.

Objetivo de aprendizaje: Construir y comprobar una matriz de proyección sencilla.

Esta lección parte de la Lección 035: Las matrices representan aplicaciones lineales, donde las matrices se convirtieron en reglas reutilizables, y de la Lección 050: La proyección encuentra el punto más cercano, donde se proyectó un vector sobre una recta. La Sección 3.8 del libro oficial Mathematics for Machine Learning desarrolla la construcción de la matriz de proyección. El conjunto de datos, los cálculos, la visualización, la implementación en NumPy y las evaluaciones de aquí son originales.

Convertir la proyección de una recta en una matriz

Sea b∈Rdb\in\mathbb{R}^d un vector de dirección no nulo, y sea U=span⁡{b}U=\operatorname{span}\{b\} la recta que define y que pasa por el origen. Para una observación vectorial en columna x∈Rdx\in\mathbb{R}^d, la lección anterior daba

proj⁡U(x)=xTbbTbb.\operatorname{proj}_{U}(x)=\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b.

El escalar xTbx^{\mathsf T}b es un producto punto. Reescribe el lado derecho para que xx aparezca como factor final:

xTbbTbb=bbTbTbx.\frac{x^{\mathsf T}b}{b^{\mathsf T}b}b =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}x.

Esta reorganización deja ver una regla lineal reutilizable.

La matriz tiene dos consecuencias geométricas inmediatas. Primero,

PT=(bbTbTb)T=bbTbTb=P,P^{\mathsf T} =\left(\frac{bb^{\mathsf T}}{b^{\mathsf T}b}\right)^{\mathsf T} =\frac{bb^{\mathsf T}}{b^{\mathsf T}b}=P,

por lo que PP es simétrica. Segundo, una vez que un vector ha llegado a la recta, volver a proyectarlo no hace nada:

P2=P.P^2=P.

Esto se llama idempotencia. Para ver por qué se cumple, sea c=bTbc=b^{\mathsf T}b. Entonces

P2=bbTcbbTc=b(bTb)bTc2=bcbTc2=P.P^2=\frac{bb^{\mathsf T}}{c}\frac{bb^{\mathsf T}}{c} =\frac{b(b^{\mathsf T}b)b^{\mathsf T}}{c^2} =\frac{bc b^{\mathsf T}}{c^2}=P.

La simetría describe la geometría en ángulo recto; la idempotencia describe el hecho de que la salida ya está asentada sobre la recta objetivo. Ninguna de las dos propiedades dice que PP sea invertible. Una proyección sobre una sola dirección normalmente descarta las otras d−1d-1 direcciones.

Aplicar la misma regla a un conjunto de datos almacenado por filas

Los datos de IA suelen almacenarse con una muestra por fila. Sea

X=[x1Tx2T⋮xmT]∈Rm×d,X=\begin{bmatrix} x_1^{\mathsf T}\\ x_2^{\mathsf T}\\ \vdots\\ x_m^{\mathsf T} \end{bmatrix}\in\mathbb{R}^{m\times d},

donde mm es el número de muestras y dd es el número de características. Como PP es simétrica, multiplicar por la derecha aplica la proyección de vectores columna a la traspuesta de cada fila:

Y=XP=[x1TPx2TP⋮xmTP].Y=XP =\begin{bmatrix} x_1^{\mathsf T}P\\ x_2^{\mathsf T}P\\ \vdots\\ x_m^{\mathsf T}P \end{bmatrix}.

Cada fila de YY sigue teniendo longitud dd, pero todas las filas están sobre la recta unidimensional UU. Los datos todavía no se han reducido a una coordenada. La matriz de coeficientes

z=XbbTb∈Rmz=\frac{Xb}{b^{\mathsf T}b}\in\mathbb{R}^{m}

guarda una coordenada por muestra, y la reconstrucción es Y=zbTY=z b^{\mathsf T}. Conservar YY resulta práctico cuando el código posterior espera el ancho original de características; conservar zz resulta práctico cuando el objetivo es una representación compacta de un solo número.

Una nube de cuatro muestras, transformada de dos maneras

Usa la dirección

b=[21],bTb=22+12=5.b=\begin{bmatrix}2\\1\end{bmatrix}, \qquad b^{\mathsf T}b=2^2+1^2=5.

El producto exterior y la matriz de proyección son

bbT=[21][21]=[4221],P=15[4221]=[0.80.40.40.2].bb^{\mathsf T} =\begin{bmatrix}2\\1\end{bmatrix}\begin{bmatrix}2&1\end{bmatrix} =\begin{bmatrix}4&2\\2&1\end{bmatrix}, \qquad P=\frac15\begin{bmatrix}4&2\\2&1\end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}.

Toma cuatro observaciones con dos características como filas:

X=[3113−2−104].X=\begin{bmatrix} 3&1\\ 1&3\\ -2&-1\\ 0&4 \end{bmatrix}.
Una matriz de proyección, cuatro filas del conjunto de datosLa misma proyección sobre la recta mueve cada observación ámbar a un punto verde sobre U. La tarjeta de la matriz muestra la regla aplicada a todo el conjunto de datos almacenado por filas.

Geometría: cada fila se mueve a U

Puntos originales y proyectados de un conjunto de datos de cuatro filasCuatro observaciones ámbar están conectadas mediante residuos discontinuos con puntos proyectados verdes sobre la recta U generada por b igual a (2, 1). La tabla contigua proporciona cada punto original, coeficiente de proyección, punto proyectado y residuo.U = span{b}x₁x₂x₁x₂x₃x₄
  • Observación original
  • Observación proyectada
  • Recta objetivo U

Matriz: una regla para todas las filas

P =154  22  1

Con las muestras almacenadas por filas, multiplica X por P a la derecha.

Y = X @ P

Alternativa numérica exacta para la nube de puntos dibujada.
MuestraOriginal xᵢCoeficiente zᵢProyectado yᵢResiduo xᵢ − yᵢ
x₁(3, 1)1.4(2.8, 1.4)(0.2, −0.4)
x₂(1, 3)1(2, 1)(−1, 2)
x₃(−2, −1)−1(−2, −1)(0, 0)
x₄(0, 4)0.8(1.6, 0.8)(−1.6, 3.2)

El gráfico de puntos muestra la geometría; la tabla conserva los valores sin depender del color, la escala ni de una vista interactiva.

La visualización revela una distinción útil. La matriz es una regla para cada entrada, no una tabla de consulta para estos cuatro puntos. Cualquier fila nueva en el mismo espacio de características puede multiplicarse por la misma PP, y los puntos que ya están sobre UU permanecen sin cambios.

Comprobar la matriz con NumPy

outer de NumPy calcula el producto exterior de dos vectores, que construye el numerador bbTbb^{\mathsf T}. Su función matmul realiza productos matriciales; el operador @ es su abreviatura para arrays. Por tanto, podemos escribir la transformación almacenada por filas como X @ P y usar linalg.norm con axis=1 para medir la longitud del residuo de cada fila.

allclose comprueba la igualdad numérica dentro de las tolerancias elegidas. Las comprobaciones siguientes no sustituyen al álgebra: detectan un error de implementación y, al mismo tiempo, reconocen que la aritmética de coma flotante puede dejar un resto diminuto en lugar de cero literal.

import numpy as np

b = np.array([2.0, 1.0])
X = np.array(
    [
        [3.0, 1.0],
        [1.0, 3.0],
        [-2.0, -1.0],
        [0.0, 4.0],
    ]
)

P = np.outer(b, b) / np.dot(b, b)
Y = X @ P
residuals = X - Y
residual_lengths = np.linalg.norm(residuals, axis=1)

tolerance = 1e-12
symmetric = np.allclose(P.T, P, rtol=0.0, atol=tolerance)
idempotent = np.allclose(P @ P, P, rtol=0.0, atol=tolerance)
already_projected = np.allclose(Y @ P, Y, rtol=0.0, atol=tolerance)

print(P)
print(Y)
print(residual_lengths)
print(symmetric, idempotent, already_projected)

Salida verificada:

[[0.8 0.4]
 [0.4 0.2]]
[[ 2.8  1.4]
 [ 2.   1. ]
 [-2.  -1. ]
 [ 1.6  0.8]]
[0.4472136  2.23606798 0.         3.57770876]
True True True

Los tres resultados booleanos responden a preguntas distintas. symmetric comprueba la identidad de traspuesta de la matriz, idempotent comprueba P2=PP^2=P, y already_projected comprueba que todo el conjunto de datos transformado permanece fijo al aplicarlo por segunda vez. Las longitudes de los residuos muestran que un punto puede estar sobre la recta objetivo con error cero, mientras que otro puede conservar una componente ortogonal considerable.

Lo que conserva la matriz y lo que no puede conservar

Para cualquier vector xx, la salida PxPx se encuentra sobre UU. El coeficiente z=(xTb)/(bTb)z=(x^{\mathsf T}b)/(b^{\mathsf T}b) es la parte de xx que puede explicar la recta elegida, mientras que x−Pxx-Px es perpendicular a bb. Por tanto, la proyección es un modelo unidimensional de una observación de dimensión dd.

Esta es la forma básica de la reducción de dimensionalidad: elige un espacio de características de menor dimensión, conserva el punto más cercano en ese espacio y mide el error de reconstrucción que queda. En un flujo de embeddings o de características, una dirección podría representar un patrón aprendido y zz podría conservar su intensidad. La matriz de proyección puede aplicar esa misma regla de representación a un lote, pero la elección de la dirección sigue determinando qué información se conserva. Un residuo pequeño significa «cerca según esta recta euclídea», no «el significado de la muestra se ha capturado por completo».

Casos límite y trampas de disposición

Una dirección cero no es una recta. Si b=0b=0, entonces bTb=0b^{\mathsf T}b=0 y la fórmula divide por cero. Una función de producción debe rechazar esa entrada en lugar de producir valores nan o llamar silenciosamente dirección al vector cero.

Una recta desplazada necesita centrado. La matriz anterior proyecta sobre una recta que pasa por el origen. Para una recta afín c+tbc+tb, proyecta primero x−cx-c y después suma cc:

c+(x−c)TbbTbb.c+\frac{(x-c)^{\mathsf T}b}{b^{\mathsf T}b}b.

Aplicar PP directamente a xx usaría la recta equivocada. Para un conjunto de datos completo, resta cc de cada fila antes de la multiplicación matricial y vuelve a sumarlo después.

No dejes que la orientación del almacenamiento elija las matemáticas por ti. Para una matriz por filas X∈Rm×dX\in\mathbb{R}^{m\times d} usa XPXP; para una matriz por columnas usa PXcolPX_{\mathrm{col}}. Un conjunto de datos traspuesto puede hacer que una multiplicación incorrecta parezca plausible y, al mismo tiempo, intercambiar «número de muestras» y «número de características». Comprueba las dimensiones antes de interpretar la salida.

La proyección de un solo vector de la Lección 050 se convierte en una operación por lotes sin cambiar su geometría. La Lección 052 usará la misma idea del punto más cercano para un subespacio generado por varias columnas, donde la matriz de proyección puede conservar más de una dirección aprendida.

Comprueba tu comprensión

Pregunta 1

Para b = (1, 2), construye la matriz de proyección P = bbᵀ/(bᵀb) e indica su forma.

Mostrar la solución paso a paso

Primero calcula el denominador:

bTb=12+22=5.b^{\mathsf T}b=1^2+2^2=5.

Después forma el producto exterior, colocando bb en el factor izquierdo y bTb^{\mathsf T} en el factor superior:

bbT=[12][12]=[1224].bb^{\mathsf T} =\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}1&2\end{bmatrix} =\begin{bmatrix}1&2\\2&4\end{bmatrix}.

Por tanto,

P=15[1224]=[0.20.40.40.8].P=\frac15\begin{bmatrix}1&2\\2&4\end{bmatrix} =\begin{bmatrix}0.2&0.4\\0.4&0.8\end{bmatrix}.

Como bb tiene dos coordenadas, PP es una matriz 2×22\times2.

Pregunta 2

Usando b = (2, 1) y x = (1, 3), calcula el coeficiente de proyección y el punto proyectado.

Mostrar la solución paso a paso

Calcula el producto punto y la longitud al cuadrado:

xTb=1⋅2+3⋅1=5,bTb=22+12=5.x^{\mathsf T}b=1\cdot2+3\cdot1=5, \qquad b^{\mathsf T}b=2^2+1^2=5.

El coeficiente es z=5/5=1z=5/5=1. Multiplícalo por la dirección:

proj⁡U(x)=zb=1(2,1)=(2,1).\operatorname{proj}_{U}(x)=zb=1(2,1)=(2,1).

El resultado está sobre UU porque es un múltiplo escalar de bb.

Pregunta 3

Un conjunto de datos X tiene cuatro filas y dos columnas de características. Para proyectarlo por filas sobre P, ¿debe usarse X @ P o P @ X? Explica las dimensiones.

Mostrar la solución paso a paso

La forma de XX es 4×24\times2, y una matriz de proyección para características bidimensionales tiene forma 2×22\times2. El producto

XP:(4×2)(2×2)⟶4×2XP:(4\times2)(2\times2)\longrightarrow4\times2

está definido y conserva una fila de salida por muestra. Por tanto, la operación por filas es X @ P. El producto PXPX intentaría multiplicar una matriz 2×22\times2 por una matriz 4×24\times2; las dimensiones internas 22 y 44 no coinciden. Si las muestras estuvieran almacenadas como columnas en una matriz 2×42\times4, entonces PP actuaría por la izquierda.

Pregunta 4

Verifica la idempotencia de P = [[0.8, 0.4], [0.4, 0.2]] calculando P². ¿Qué significa el resultado para un conjunto de datos proyectado?

Mostrar la solución paso a paso

Multiplica la matriz por sí misma:

P2=[0.80.40.40.2][0.80.40.40.2]=[0.64+0.160.32+0.080.32+0.080.16+0.04]=[0.80.40.40.2]=P.P^2 =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} \begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix} =\begin{bmatrix} 0.64+0.16&0.32+0.08\\ 0.32+0.08&0.16+0.04 \end{bmatrix} =\begin{bmatrix}0.8&0.4\\0.4&0.2\end{bmatrix}=P.

Por tanto, (XP)P=X(P2)=XP(XP)P=X(P^2)=XP. Una segunda pasada deja sin cambios cada fila proyectada; no continúa reduciendo el conjunto de datos.

Pregunta 5

¿Por qué la matriz de proyección sobre una recta es simétrica y cómo se relaciona eso con el residuo?

Mostrar la solución paso a paso

La matriz es

P=bbTbTb.P=\frac{bb^{\mathsf T}}{b^{\mathsf T}b}.

El denominador es un escalar, y trasponer el numerador invierte el orden de los factores:

(bbT)T=bbT.(bb^{\mathsf T})^{\mathsf T}=bb^{\mathsf T}.

Por eso PT=PP^{\mathsf T}=P. Geométricamente, la proyección utiliza el producto interno euclídeo habitual, así que la diferencia x−Pxx-Px tiene producto punto cero con bb. La simetría es la señal algebraica de esa proyección ortogonal en ángulo recto; por sí sola no implica que se conserve cada vector.

Pregunta 6

Un ingeniero dice: «Como P tiene dos filas y dos columnas, conserva dos direcciones independientes». Corrige la afirmación para una dirección b bidimensional no nula.

Mostrar la solución paso a paso

La forma de una matriz no es su número de direcciones independientes. Ambas columnas de P=bbT/(bTb)P=bb^{\mathsf T}/(b^{\mathsf T}b) son múltiplos escalares de bb, así que sus columnas solo generan la recta unidimensional UU. Se elimina cualquier componente ortogonal a bb. Por tanto, una matriz de proyección 2×22\times2 puede tener rango uno: conserva una dirección mientras usa dos coordenadas para almacenar cada punto de salida.

Pregunta 7

¿Qué debe hacer una implementación en NumPy cuando b = [0.0, 0.0] y por qué añadir un denominador diminuto no es una solución fiel?

Mostrar la solución paso a paso

El vector cero no define una recta y su denominador es bTb=0b^{\mathsf T}b=0. La implementación debe rechazarlo explícitamente, por ejemplo comprobando que la norma al cuadrado sea mayor que cero, y explicar que la entrada no es válida. Añadir un número diminuto arbitrario al denominador fabricaría una matriz muy grande o inestable para una tarea geométrica no definida. Un regularizador numérico puede ser apropiado para otro problema definido explícitamente, pero no convierte el vector cero en una dirección.

Pregunta 8

Para una recta afín c + tb, ¿por qué no se puede aplicar directamente a x la matriz P de la recta que pasa por el origen? Da la operación corregida por filas para el conjunto de datos.

Mostrar la solución paso a paso

La matriz PP asigna los puntos a una recta que pasa por el origen. Una recta afín tiene el desplazamiento cc, así que el vector relevante es x−cx-c, no xx. Para cada fila de un conjunto de datos, centra primero, proyecta y después recupera el desplazamiento:

Y=(X−1cT)P+1cT,Y=(X-\mathbf{1}c^{\mathsf T})P+\mathbf{1}c^{\mathsf T},

donde 1\mathbf{1} es una columna de unos con mm entradas. La resta y la suma se hacen por filas. Aplicar XPXP sin centrar proyectaría sobre la recta paralela que pasa por cero y respondería a una pregunta distinta.

Fuentes

  1. Mathematics for Machine Learning book PDF, Section 3.8
  2. NumPy documentation: numpy.outer
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose