Curso de Matemáticas para IA · Lección 48 de 180
Los complementos ortogonales capturan lo que queda
Describe las direcciones ortogonales a un subespacio, verifica la normal de un plano y separa una representación de IA en señal explicada y error residual con NumPy.
Un modelo puede explicar una observación con unas pocas direcciones aprendidas y aun así dejar algo fuera. ¿Cómo puede saber si ese resto es una dirección realmente nueva, en lugar de una copia oculta de algo que el modelo ya explicó?
El complemento ortogonal da una respuesta precisa. Reúne todas las direcciones cuyo producto interno con un subespacio completo es cero, no solo las que son ortogonales a un vector elegido. Para un plano de características en tres dimensiones, el complemento es la recta de las direcciones normales. Esa recta ofrece un lugar claro para un componente residual: no tiene solapamiento lineal con el plano, aunque puede tener un tamaño distinto de cero e información útil.
Al terminar esta lección, podrás describir un complemento ortogonal, comprobar su dimensión y su base, interpretar el vector normal de un plano y usar una base ortonormal en NumPy para separar un componente explicado de un residual.
Objetivo de aprendizaje: Describir las direcciones ortogonales a un subespacio.
Esta lección se apoya en la Lección 045: La ortogonalidad significa que no hay solapamiento lineal, que convirtió el producto interno cero en una prueba geométrica, y en la Lección 036: El núcleo y la imagen explican la pérdida y el alcance, que conectó los subespacios con la información que una aplicación lineal puede perder o alcanzar. La sección 3.6 del libro oficial Mathematics for Machine Learning es la referencia curricular. Las definiciones, los números, la visualización, la implementación, la conexión con la IA y las evaluaciones de aquí son originales.
Un subespacio tiene un resto perpendicular
Sea un espacio vectorial euclídeo de dimensión . Sea un subespacio de de dimensión . Un subespacio es una colección de vectores cerrada bajo la suma y la multiplicación por escalares; contiene el vector cero y todas las combinaciones lineales de sus direcciones de base.
Tres hechos hacen útil el complemento:
-
Si tiene dimensión dentro de un espacio de dimensión , entonces . Cada dirección independiente de aporta una restricción de ortogonalidad.
-
y solo se encuentran en el vector cero: . Un vector distinto de cero no puede estar a la vez dentro de un subespacio y ser perpendicular a todos los vectores de ese mismo subespacio, porque su producto interno consigo mismo sería distinto de cero.
-
En la geometría euclídea estándar, cada tiene una única descomposición
El primer término es la parte que describe el subespacio. El segundo es lo que el subespacio no puede explicar mediante sus propias direcciones.
La regla de la dimensión sirve para contar, pero no sustituye la definición. El complemento de un plano en es unidimensional, pero el complemento de una recta en es un plano bidimensional. “El complemento ortogonal” no siempre es una sola flecha.
Un plano y su recta normal
Considera el plano
Un vector cualquiera de este plano es
Por tanto, el plano consta de los vectores que cumplen . Para encontrar una normal, busca ortogonal a los dos vectores de la base:
Al elegir se obtiene , así que una normal es
Cualquier múltiplo escalar de también es ortogonal a los dos vectores de la base. Como tiene dimensión y el espacio ambiente tiene dimensión , el complemento tiene dimensión ; por tanto
El diagrama usa un plano para y una flecha para su dirección normal. Su tabla es una alternativa numérica completa al dibujo: registra las dos comprobaciones de ortogonalidad y la conclusión sobre la dimensión sin depender del color, la perspectiva o JavaScript.
Visualización geométrica estática
Un subespacio bidimensional y su complemento unidimensional
Las flechas oscuras generan U. La flecha naranja es n = (−1, −1, 1), una dirección normal cuyo producto escalar con ambos vectores de la base es cero.
| Vector | Prueba del producto escalar | Interpretación |
|---|---|---|
| b₁ = (1, 0, 1) | nᵀb₁ = −1 + 1 = 0 | Una dirección de la base en U |
| b₂ = (0, 1, 1) | nᵀb₂ = −1 + 1 = 0 | Una dirección de la base en U |
| n = (−1, −1, 1) | nᵀn = 1 + 1 + 1 = 3 | n genera U⊥ |
| x = (2, 1, 4) | nᵀx = −2 − 1 + 4 = 1 | x tiene un componente normal distinto de cero |
El plano contiene toda combinación lineal de b₁ y b₂. El complemento es toda la recta normal, incluidas ambas direcciones y el vector cero; no solo la flecha dibujada aquí.
La visualización usa un dibujo oblicuo del espacio tridimensional, así que el ángulo en la pantalla solo representa la geometría. El significado lo aporta el álgebra: la normal es perpendicular a cada vector de , porque cada vector de es una combinación lineal de y .
Ejemplo trabajado: divide una observación en señal explicada y residual
La normal es una dirección útil, pero no tiene longitud unidad. Para leer las coordenadas con claridad, usa primero las direcciones ortonormales de las lecciones anteriores. Al aplicar Gram–Schmidt a se obtiene la siguiente base ortonormal de :
La normal unitaria es
Estas tres direcciones son ortonormales por pares, generan y genera . Toma la observación
Como la base es ortonormal, cada coeficiente es un producto interno.
Este cálculo convierte “explicado frente a lo que queda” en una afirmación geométrica. Explicado significa “reconstruido a partir del subespacio seleccionado”, no “toda la información útil”. El residual puede contener otra característica, ruido, un patrón no lineal o una señal que un modelo posterior debería examinar.
Por qué la descomposición es única
La unicidad se deriva del hecho sobre la intersección, no de una elección afortunada de coordenadas. Supón que el mismo vector tuviera dos descomposiciones:
Reordena:
El lado izquierdo pertenece a porque un subespacio es cerrado bajo la resta. El derecho pertenece a por la misma razón. Por tanto, este vector común pertenece a , que solo contiene . Así, y .
La misma demostración explica por qué las dos partes no cuentan dos veces una dirección. Un vector distinto de cero no puede ser a la vez una dirección explicada en y una dirección residual en .
NumPy mantiene visibles las dimensiones
Guarda los vectores de la base ortonormal como las columnas de una matriz . La observación tiene forma , el vector de coordenadas tiene forma y el vector explicado reconstruido vuelve a tener forma .
El código siguiente usa numpy.asarray para convertir las entradas en arrays, el operador de multiplicación matricial documentado por numpy.matmul para los productos matriciales, numpy.linalg.norm para el tamaño euclídeo del residual y numpy.allclose para las comprobaciones tolerantes. Los valores explícitos de atol y
rtol=0 hacen visible la comparación con cero que se pretende; NumPy
advierte que una tolerancia absoluta predeterminada puede no ser adecuada cerca
de cero.
import numpy as np
def split_against_orthonormal_basis(x, Q, *, atol=1e-12):
x = np.asarray(x, dtype=float)
Q = np.asarray(Q, dtype=float)
if x.ndim != 1 or Q.ndim != 2 or Q.shape[0] != x.shape[0]:
raise ValueError('x must be (D,) and Q must be (D, M)')
gram = Q.T @ Q
if not np.allclose(
gram, np.eye(Q.shape[1]), atol=atol, rtol=0.0
):
raise ValueError('Q columns must be orthonormal')
coordinates = Q.T @ x
explained = Q @ coordinates
residual = x - explained
return coordinates, explained, residual
Q = np.array([
[1 / np.sqrt(2), -1 / np.sqrt(6)],
[0.0, 2 / np.sqrt(6)],
[1 / np.sqrt(2), 1 / np.sqrt(6)],
])
x = np.array([2.0, 1.0, 4.0])
coordinates, explained, residual = split_against_orthonormal_basis(x, Q)
normal = np.array([-1.0, -1.0, 1.0]) / np.sqrt(3)
print(np.round(Q.T @ Q, 6))
print(np.round(coordinates, 6))
print(np.round(explained, 6))
print(np.round(residual, 6))
print(np.round(np.linalg.norm(residual), 6))
print(np.allclose(Q.T @ residual, 0.0, atol=1e-12, rtol=0.0))
print(np.allclose(residual, (1 / np.sqrt(3)) * normal, atol=1e-12, rtol=0.0))
La salida verificada es:
[[1. 0.]
[0. 1.]]
[4.242641 1.632993]
[2.333333 1.333333 3.666667]
[-0.333333 -0.333333 0.333333]
0.57735
True
True
La primera matriz es la matriz de Gram de las columnas. Su forma identidad confirma la longitud unidad y la ortogonalidad por pares de las columnas. Las dos últimas comprobaciones indican que el residual es ortogonal a las dos columnas de y que se encuentra en la dirección normal unitaria. La función no busca un punto más cercano ni demuestra un ajuste de mínimos cuadrados; usa una base ortonormal ya verificada para mostrar los dos bloques de coordenadas. Así, esta lección mantiene el foco en el complemento. Una lección posterior sobre proyecciones puede explicar la interpretación del punto más cercano.
Un residual se separa, no se borra
En una representación de IA, sea un subespacio de direcciones de características seleccionado por un codificador lineal, un subespacio principal o una familia de características diseñada a mano. Para una entrada , la descomposición da:
- : el componente expresable mediante las direcciones seleccionadas;
- : un componente invisible para cualquier puntuación lineal que solo mire a lo largo de ;
- : el tamaño de lo que queda bajo esta geometría.
Esto puede mejorar la interpretabilidad. Si una lectura lineal se construye solo con las columnas de , su puntuación no puede obtener una contribución de mediante un producto interno con esas columnas, porque . Es una afirmación sobre este subespacio, este producto interno y esta representación; no afirma que el residual sea inútil. Una capa no lineal, otra métrica o un conjunto de datos diferente pueden revelar relaciones que la separación ortogonal actual no captura.
Hay dos casos límite que conviene recordar:
- Si , entonces y . El espacio completo queda explicado, así que el único residual es cero.
- Si , entonces y . El subespacio cero no explica nada, así que cada vector es residual.
La regla de la dimensión también supone el producto escalar estándar. Si un sistema define un producto interno ponderado, “ortogonal” cambia con esa métrica; la normal del producto escalar ordinario anterior no es automáticamente la dirección residual correcta.
La próxima lección extiende la misma separación a la geometría del punto más cercano a un subespacio. Por ahora, la prueba duradera es más sencilla: nombra el espacio ambiente, escribe una base de , comprueba los productos internos cero con esa base y trata el complemento como un subespacio de todas las direcciones residuales permitidas.
Comprueba lo que has entendido
Question 1
Sea U un subespacio de dimensión M en R^D. ¿Qué es U⊥ y qué dimensión debe tener?
Show the step-by-step solution
Por definición, contiene cada vector cuyo producto interno con cada es cero. Basta imponer la prueba a una base de con vectores, porque los productos internos se distribuyen sobre las combinaciones lineales. Esas condiciones de ortogonalidad independientes dejan direcciones independientes, así que en la geometría euclídea habitual.
Question 2
Para U = span{(1, 0, 1), (0, 1, 1)}, comprueba n = (−1, −1, 1) y expresa U⊥.
Show the step-by-step solution
Comprueba el primer vector de la base: . Comprueba el segundo: . Como cada vector de es una combinación lineal de esos dos vectores de la base, es ortogonal a todo . Los dos vectores de la base son independientes, así que en y . Por tanto, .
Question 3
Con el mismo plano, decide si y = (2, 1, 3) tiene un componente residual en U⊥. Muestra la prueba.
Show the step-by-step solution
El plano cumple . Para , , así que ya pertenece a . La prueba con la normal da lo mismo: . Como es la recta normal y la coordenada normal es cero, el componente residual es el vector cero.
Question 4
Para x = (2, 1, 4), usa la descomposición trabajada para verificar que el residual es ortogonal a U pero no es cero.
Show the step-by-step solution
La descomposición da . No es cero porque su norma euclídea es . Comprueba las dos direcciones de la base: y . Por tanto, el residual es una dirección no nula genuina en , no una ausencia de información.
Question 5
¿Por qué comprobar un vector candidato con un solo vector de U no basta cuando U es un plano?
Show the step-by-step solution
La ortogonalidad a un solo vector elimina un único solapamiento lineal. Un vector puede ser perpendicular a y aun así tener un producto escalar distinto de cero con , por lo que no sería perpendicular a todas las combinaciones del plano. Para pertenecer a , el candidato debe superar la prueba de producto escalar cero para cada dirección de una base de . Al superar esas pruebas de la base, la distributividad cubre todas las combinaciones lineales.
Question 6
En el código de NumPy, Q tiene forma (D, M). ¿Qué formas tienen Q.T @ x, Q @ (Q.T @ x) y x − Q @ (Q.T @ x)?
Show the step-by-step solution
tiene forma y tiene forma . Su transpuesta tiene forma , así que tiene forma : un coeficiente por cada dirección de la base. Multiplicar por ese vector de coeficientes devuelve la forma , que es el componente explicado. Restar dos vectores de forma deja un residual de forma en el espacio ambiente original.
Question 7
¿Qué verifica la comprobación allclose sobre Q.T @ Q y por qué una comparación exacta == es una mala prueba de coma flotante?
Show the step-by-step solution
Para los vectores de la base almacenados por columnas, es su
matriz de Gram. Un resultado identidad significa que cada columna tiene
norma unidad y que las columnas distintas tienen producto interno cero, por
lo que las columnas son ortonormales. Las raíces cuadradas y los productos
de coma flotante pueden dejar valores diminutos como
donde la aritmética exacta da cero. np.allclose compara dentro
de tolerancias explícitas; aun así, la tolerancia debe elegirse según la
escala y la precisión de los datos, no aceptarse a ciegas.
Question 8
Un modelo etiqueta como inútil todo residual en U⊥. ¿Qué parte de esa conclusión se desprende de las matemáticas y qué parte va demasiado lejos?
Show the step-by-step solution
La parte válida es limitada: un residual tiene producto interno cero con cada dirección de , por lo que una lectura lineal que solo puntúa esas direcciones no puede obtener una contribución de mediante ese mismo producto interno. Afirmar que es inútil va más allá de lo que permiten las matemáticas. Puede tener norma distinta de cero, codificar otra dirección lineal, contener estructura no lineal o ser útil para una capa posterior o una métrica diferente.