Curso de Matemáticas para IA · Lección 48 de 180

Los complementos ortogonales capturan lo que queda

Describe las direcciones ortogonales a un subespacio, verifica la normal de un plano y separa una representación de IA en señal explicada y error residual con NumPy.

Comparte este artículo

Un modelo puede explicar una observación con unas pocas direcciones aprendidas y aun así dejar algo fuera. ¿Cómo puede saber si ese resto es una dirección realmente nueva, en lugar de una copia oculta de algo que el modelo ya explicó?

El complemento ortogonal da una respuesta precisa. Reúne todas las direcciones cuyo producto interno con un subespacio completo es cero, no solo las que son ortogonales a un vector elegido. Para un plano de características en tres dimensiones, el complemento es la recta de las direcciones normales. Esa recta ofrece un lugar claro para un componente residual: no tiene solapamiento lineal con el plano, aunque puede tener un tamaño distinto de cero e información útil.

Al terminar esta lección, podrás describir un complemento ortogonal, comprobar su dimensión y su base, interpretar el vector normal de un plano y usar una base ortonormal en NumPy para separar un componente explicado de un residual.

Objetivo de aprendizaje: Describir las direcciones ortogonales a un subespacio.

Esta lección se apoya en la Lección 045: La ortogonalidad significa que no hay solapamiento lineal, que convirtió el producto interno cero en una prueba geométrica, y en la Lección 036: El núcleo y la imagen explican la pérdida y el alcance, que conectó los subespacios con la información que una aplicación lineal puede perder o alcanzar. La sección 3.6 del libro oficial Mathematics for Machine Learning es la referencia curricular. Las definiciones, los números, la visualización, la implementación, la conexión con la IA y las evaluaciones de aquí son originales.

Un subespacio tiene un resto perpendicular

Sea V=RDV=\mathbb{R}^D un espacio vectorial euclídeo de dimensión DD. Sea UU un subespacio de VV de dimensión MM. Un subespacio es una colección de vectores cerrada bajo la suma y la multiplicación por escalares; contiene el vector cero y todas las combinaciones lineales de sus direcciones de base.

Tres hechos hacen útil el complemento:

  • Si UU tiene dimensión MM dentro de un espacio de dimensión DD, entonces dim⁡(U⊥)=D−M\dim(U^\perp)=D-M. Cada dirección independiente de UU aporta una restricción de ortogonalidad.

  • UU y U⊥U^\perp solo se encuentran en el vector cero: U∩U⊥={0}U\cap U^\perp=\{0\}. Un vector distinto de cero no puede estar a la vez dentro de un subespacio y ser perpendicular a todos los vectores de ese mismo subespacio, porque su producto interno consigo mismo sería distinto de cero.

  • En la geometría euclídea estándar, cada x∈RDx\in\mathbb{R}^D tiene una única descomposición

    x=u+r,u∈U,r∈U⊥.x=u+r,\qquad u\in U,\quad r\in U^\perp.

    El primer término es la parte que describe el subespacio. El segundo es lo que el subespacio no puede explicar mediante sus propias direcciones.

La regla de la dimensión sirve para contar, pero no sustituye la definición. El complemento de un plano en R3\mathbb{R}^3 es unidimensional, pero el complemento de una recta en R3\mathbb{R}^3 es un plano bidimensional. “El complemento ortogonal” no siempre es una sola flecha.

Un plano y su recta normal

Considera el plano

U=span⁡{b1=[101],b2=[011]}⊂R3.U=\operatorname{span}\left\{ b_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, b_2=\begin{bmatrix}0\\1\\1\end{bmatrix} \right\}\subset\mathbb{R}^3.

Un vector cualquiera de este plano es

αb1+βb2=[αβα+β].\alpha b_1+\beta b_2 =\begin{bmatrix}\alpha\\\beta\\\alpha+\beta\end{bmatrix}.

Por tanto, el plano consta de los vectores que cumplen x3=x1+x2x_3=x_1+x_2. Para encontrar una normal, busca n=(n1,n2,n3)n=(n_1,n_2,n_3) ortogonal a los dos vectores de la base:

nTb1=n1+n3=0,nTb2=n2+n3=0.n^{\mathsf T}b_1=n_1+n_3=0, \qquad n^{\mathsf T}b_2=n_2+n_3=0.

Al elegir n3=1n_3=1 se obtiene n1=n2=−1n_1=n_2=-1, así que una normal es

n=[−1−11].n=\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

Cualquier múltiplo escalar de nn también es ortogonal a los dos vectores de la base. Como UU tiene dimensión 22 y el espacio ambiente tiene dimensión 33, el complemento tiene dimensión 11; por tanto

U⊥=span⁡{[−1−11]}.U^\perp=\operatorname{span}\left\{ \begin{bmatrix}-1\\-1\\1\end{bmatrix} \right\}.

El diagrama usa un plano para UU y una flecha para su dirección normal. Su tabla es una alternativa numérica completa al dibujo: registra las dos comprobaciones de ortogonalidad y la conclusión sobre la dimensión sin depender del color, la perspectiva o JavaScript.

Visualización geométrica estática

Un subespacio bidimensional y su complemento unidimensional

Las flechas oscuras generan U. La flecha naranja es n = (−1, −1, 1), una dirección normal cuyo producto escalar con ambos vectores de la base es cero.

El plano U y la dirección normal n en un espacio tridimensionalUn diagrama oblicuo tridimensional muestra un paralelogramo azul para el plano U generado por b₁ y b₂. Una flecha roja sale del origen en la dirección normal n. La tabla inferior proporciona los vectores exactos y las pruebas de productos escalares.U: x₃ = x₁ + x₂b₁b₂n ∈ U⊥nᵀb₁ = 0 y nᵀb₂ = 00
Comprobaciones exactas de los vectores y la ortogonalidad de la visualización.
VectorPrueba del producto escalarInterpretación
b₁ = (1, 0, 1)nᵀb₁ = −1 + 1 = 0Una dirección de la base en U
b₂ = (0, 1, 1)nᵀb₂ = −1 + 1 = 0Una dirección de la base en U
n = (−1, −1, 1)nᵀn = 1 + 1 + 1 = 3n genera U⊥
x = (2, 1, 4)nᵀx = −2 − 1 + 4 = 1x tiene un componente normal distinto de cero

El plano contiene toda combinación lineal de b₁ y b₂. El complemento es toda la recta normal, incluidas ambas direcciones y el vector cero; no solo la flecha dibujada aquí.

Un plano en ℝ³ tiene un complemento ortogonal unidimensional. La recta normal captura las direcciones sin solapamiento de producto interno con ningún vector del plano.

La visualización usa un dibujo oblicuo del espacio tridimensional, así que el ángulo en la pantalla solo representa la geometría. El significado lo aporta el álgebra: la normal es perpendicular a cada vector de UU, porque cada vector de UU es una combinación lineal de b1b_1 y b2b_2.

Ejemplo trabajado: divide una observación en señal explicada y residual

La normal nn es una dirección útil, pero no tiene longitud unidad. Para leer las coordenadas con claridad, usa primero las direcciones ortonormales de las lecciones anteriores. Al aplicar Gram–Schmidt a b1,b2b_1,b_2 se obtiene la siguiente base ortonormal de UU:

q1=12[101],q2=16[−121].q_1=\frac{1}{\sqrt{2}}\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad q_2=\frac{1}{\sqrt{6}}\begin{bmatrix}-1\\2\\1\end{bmatrix}.

La normal unitaria es

q3=13[−1−11].q_3=\frac{1}{\sqrt{3}}\begin{bmatrix}-1\\-1\\1\end{bmatrix}.

Estas tres direcciones son ortonormales por pares, q1,q2q_1,q_2 generan UU y q3q_3 genera U⊥U^\perp. Toma la observación

x=[214].x=\begin{bmatrix}2\\1\\4\end{bmatrix}.

Como la base es ortonormal, cada coeficiente es un producto interno.

Este cálculo convierte “explicado frente a lo que queda” en una afirmación geométrica. Explicado significa “reconstruido a partir del subespacio seleccionado”, no “toda la información útil”. El residual puede contener otra característica, ruido, un patrón no lineal o una señal que un modelo posterior debería examinar.

Por qué la descomposición es única

La unicidad se deriva del hecho sobre la intersección, no de una elección afortunada de coordenadas. Supón que el mismo vector tuviera dos descomposiciones:

x=u1+r1=u2+r2,u1,u2∈U,r1,r2∈U⊥.x=u_1+r_1=u_2+r_2, \qquad u_1,u_2\in U,\quad r_1,r_2\in U^\perp.

Reordena:

u1−u2=r2−r1.u_1-u_2=r_2-r_1.

El lado izquierdo pertenece a UU porque un subespacio es cerrado bajo la resta. El derecho pertenece a U⊥U^\perp por la misma razón. Por tanto, este vector común pertenece a U∩U⊥U\cap U^\perp, que solo contiene 00. Así, u1=u2u_1=u_2 y r1=r2r_1=r_2.

La misma demostración explica por qué las dos partes no cuentan dos veces una dirección. Un vector distinto de cero no puede ser a la vez una dirección explicada en UU y una dirección residual en U⊥U^\perp.

NumPy mantiene visibles las dimensiones

Guarda los vectores de la base ortonormal como las columnas de una matriz Q∈R3×2Q\in\mathbb{R}^{3\times2}. La observación xx tiene forma (3,)(3,), el vector de coordenadas QTxQ^{\mathsf T}x tiene forma (2,)(2,) y el vector explicado reconstruido Q(QTx)Q(Q^{\mathsf T}x) vuelve a tener forma (3,)(3,).

El código siguiente usa numpy.asarray para convertir las entradas en arrays, el operador de multiplicación matricial documentado por numpy.matmul para los productos matriciales, numpy.linalg.norm para el tamaño euclídeo del residual y numpy.allclose para las comprobaciones tolerantes. Los valores explícitos de atol y

rtol=0 hacen visible la comparación con cero que se pretende; NumPy advierte que una tolerancia absoluta predeterminada puede no ser adecuada cerca de cero.

import numpy as np


def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
    x = np.asarray(x, dtype=float)
    Q = np.asarray(Q, dtype=float)
    if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
        raise ValueError('x must be (D,) and Q must be (D, M)')

    gram = Q.T @ Q
    if not np.allclose(
        gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
    ):
        raise ValueError('Q columns must be orthonormal')

    coordinates = Q.T @ x
    explained = Q @ coordinates
    residual = x - explained
    return coordinates, explained, residual


Q = np.array([
    [1 / np.sqrt(2), -1 / np.sqrt(6)],
    [0.0,             2 / np.sqrt(6)],
    [1 / np.sqrt(2),  1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])

coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)

print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))

La salida verificada es:

[[1. 0.]
 [0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333  0.333333]
0.57735
True
True

La primera matriz es la matriz de Gram 2×22\times2 de las columnas. Su forma identidad confirma la longitud unidad y la ortogonalidad por pares de las columnas. Las dos últimas comprobaciones indican que el residual es ortogonal a las dos columnas de QQ y que se encuentra en la dirección normal unitaria. La función no busca un punto más cercano ni demuestra un ajuste de mínimos cuadrados; usa una base ortonormal ya verificada para mostrar los dos bloques de coordenadas. Así, esta lección mantiene el foco en el complemento. Una lección posterior sobre proyecciones puede explicar la interpretación del punto más cercano.

Un residual se separa, no se borra

En una representación de IA, sea UU un subespacio de direcciones de características seleccionado por un codificador lineal, un subespacio principal o una familia de características diseñada a mano. Para una entrada xx, la descomposición x=u+rx=u+r da:

  • u∈Uu\in U: el componente expresable mediante las direcciones seleccionadas;
  • r∈U⊥r\in U^\perp: un componente invisible para cualquier puntuación lineal que solo mire a lo largo de UU;
  • ∥r∥2\lVert r\rVert_2: el tamaño de lo que queda bajo esta geometría.

Esto puede mejorar la interpretabilidad. Si una lectura lineal se construye solo con las columnas de QQ, su puntuación no puede obtener una contribución de rr mediante un producto interno con esas columnas, porque QTr=0Q^{\mathsf T}r=0. Es una afirmación sobre este subespacio, este producto interno y esta representación; no afirma que el residual sea inútil. Una capa no lineal, otra métrica o un conjunto de datos diferente pueden revelar relaciones que la separación ortogonal actual no captura.

Hay dos casos límite que conviene recordar:

  1. Si U=RDU=\mathbb{R}^D, entonces M=DM=D y U⊥={0}U^\perp=\{0\}. El espacio completo queda explicado, así que el único residual es cero.
  2. Si U={0}U=\{0\}, entonces M=0M=0 y U⊥=RDU^\perp=\mathbb{R}^D. El subespacio cero no explica nada, así que cada vector es residual.

La regla de la dimensión también supone el producto escalar estándar. Si un sistema define un producto interno ponderado, “ortogonal” cambia con esa métrica; la normal del producto escalar ordinario anterior no es automáticamente la dirección residual correcta.

La próxima lección extiende la misma separación a la geometría del punto más cercano a un subespacio. Por ahora, la prueba duradera es más sencilla: nombra el espacio ambiente, escribe una base de UU, comprueba los productos internos cero con esa base y trata el complemento como un subespacio de todas las direcciones residuales permitidas.

Comprueba lo que has entendido

Question 1

Sea U un subespacio de dimensión M en R^D. ¿Qué es U⊥ y qué dimensión debe tener?

Show the step-by-step solution

Por definición, U⊥U^\perp contiene cada vector z∈RDz\in\mathbb{R}^D cuyo producto interno con cada u∈Uu\in U es cero. Basta imponer la prueba a una base de UU con MM vectores, porque los productos internos se distribuyen sobre las combinaciones lineales. Esas condiciones de ortogonalidad independientes dejan D−MD-M direcciones independientes, así que dim⁡(U⊥)=D−M\dim(U^\perp)=D-M en la geometría euclídea habitual.

Question 2

Para U = span{(1, 0, 1), (0, 1, 1)}, comprueba n = (−1, −1, 1) y expresa U⊥.

Show the step-by-step solution

Comprueba el primer vector de la base: nT(1,0,1)=−1+1=0n^\mathsf{T}(1,0,1)=-1+1=0. Comprueba el segundo: nT(0,1,1)=−1+1=0n^\mathsf{T}(0,1,1)=-1+1=0. Como cada vector de UU es una combinación lineal de esos dos vectores de la base, nn es ortogonal a todo UU. Los dos vectores de la base son independientes, así que dim⁡(U)=2\dim(U)=2 en R3\mathbb{R}^3 y dim⁡(U⊥)=1\dim(U^\perp)=1. Por tanto, U⊥=span⁡{(−1,−1,1)}U^\perp=\operatorname{span}\{(-1,-1,1)\}.

Question 3

Con el mismo plano, decide si y = (2, 1, 3) tiene un componente residual en U⊥. Muestra la prueba.

Show the step-by-step solution

El plano cumple x3=x1+x2x_3=x_1+x_2. Para yy, 3=2+13=2+1, así que ya pertenece a UU. La prueba con la normal da lo mismo: nTy=(−1)(2)+(−1)(1)+1(3)=−2−1+3=0n^\mathsf{T} y=(-1)(2)+(-1)(1)+1(3)=-2-1+3=0. Como U⊥U^\perp es la recta normal y la coordenada normal es cero, el componente residual es el vector cero.

Question 4

Para x = (2, 1, 4), usa la descomposición trabajada para verificar que el residual es ortogonal a U pero no es cero.

Show the step-by-step solution

La descomposición da r=(−1/3,−1/3,1/3)r=(-1/3,-1/3,1/3). No es cero porque su norma euclídea es 1/9+1/9+1/9=1/3>0\sqrt{1/9+1/9+1/9}=1/\sqrt{3}>0. Comprueba las dos direcciones de la base: b1Tr=1(−1/3)+0+1(1/3)=0b_1^\mathsf{T}r=1(-1/3)+0+1(1/3)=0 y b2Tr=0+1(−1/3)+1(1/3)=0b_2^\mathsf{T}r=0+1(-1/3)+1(1/3)=0. Por tanto, el residual es una dirección no nula genuina en U⊥U^\perp, no una ausencia de información.

Question 5

¿Por qué comprobar un vector candidato con un solo vector de U no basta cuando U es un plano?

Show the step-by-step solution

La ortogonalidad a un solo vector elimina un único solapamiento lineal. Un vector puede ser perpendicular a b1b_1 y aun así tener un producto escalar distinto de cero con b2b_2, por lo que no sería perpendicular a todas las combinaciones del plano. Para pertenecer a U⊥U^\perp, el candidato debe superar la prueba de producto escalar cero para cada dirección de una base de UU. Al superar esas pruebas de la base, la distributividad cubre todas las combinaciones lineales.

Question 6

En el código de NumPy, Q tiene forma (D, M). ¿Qué formas tienen Q.T @ x, Q @ (Q.T @ x) y x − Q @ (Q.T @ x)?

Show the step-by-step solution

QQ tiene forma (D,M)(D,M) y xx tiene forma (D,)(D,). Su transpuesta tiene forma (M,D)(M,D), así que QTxQ^\mathsf{T}x tiene forma (M,)(M,): un coeficiente por cada dirección de la base. Multiplicar QQ por ese vector de coeficientes devuelve la forma (D,)(D,), que es el componente explicado. Restar dos vectores de forma (D,)(D,) deja un residual de forma (D,)(D,) en el espacio ambiente original.

Question 7

¿Qué verifica la comprobación allclose sobre Q.T @ Q y por qué una comparación exacta == es una mala prueba de coma flotante?

Show the step-by-step solution

Para los vectores de la base almacenados por columnas, QTQQ^\mathsf{T}Q es su matriz de Gram. Un resultado identidad significa que cada columna tiene norma unidad y que las columnas distintas tienen producto interno cero, por lo que las columnas son ortonormales. Las raíces cuadradas y los productos de coma flotante pueden dejar valores diminutos como 2.2×10−162.2\times10^{-16} donde la aritmética exacta da cero. np.allclose compara dentro de tolerancias explícitas; aun así, la tolerancia debe elegirse según la escala y la precisión de los datos, no aceptarse a ciegas.

Question 8

Un modelo etiqueta como inútil todo residual en U⊥. ¿Qué parte de esa conclusión se desprende de las matemáticas y qué parte va demasiado lejos?

Show the step-by-step solution

La parte válida es limitada: un residual r∈U⊥r\in U^\perp tiene producto interno cero con cada dirección de UU, por lo que una lectura lineal que solo puntúa esas direcciones no puede obtener una contribución de rr mediante ese mismo producto interno. Afirmar que rr es inútil va más allá de lo que permiten las matemáticas. Puede tener norma distinta de cero, codificar otra dirección lineal, contener estructura no lineal o ser útil para una capa posterior o una métrica diferente.

Fuentes

  1. Mathematics for Machine Learning book PDF, Section 3.6
  2. NumPy documentation: numpy.asarray
  3. NumPy documentation: numpy.matmul
  4. NumPy documentation: numpy.linalg.norm
  5. NumPy documentation: numpy.allclose