Curso de Matemáticas para IA · Lección 47 de 180

Gram–Schmidt construye direcciones ortogonales

Ejecuta Gram–Schmidt a mano y en NumPy, interpreta el tamaño del residual como diagnóstico de solapamiento y reconoce la inestabilidad del orden y de la aritmética de punto flotante.

Comparte este artículo

Dos direcciones de características pueden parecer distintas y, sin embargo, transportar casi la misma información. Normalizar cada una corrige su longitud, pero no elimina el solapamiento. Gram–Schmidt elimina de cada vector nuevo la parte que ya explican las direcciones anteriores y después normaliza lo que queda. La longitud de ese resto se convierte en un diagnóstico útil: cero significa dependencia, mientras que un valor muy pequeño advierte que la nueva dirección es casi redundante o numéricamente frágil.

Al terminar esta lección podrás ejecutar Gram–Schmidt sobre dos o tres vectores, verificar la salida ortonormal e interpretar el tamaño del residual como una señal de solapamiento que depende de la escala. También sabrás por qué el orden de las entradas y la tolerancia de punto flotante elegida afectan al resultado.

Resultado de aprendizaje: Ejecutar Gram–Schmidt sobre dos o tres vectores e identificar la inestabilidad.

La lección 046: Las bases ortonormales simplifican las coordenadas mostró por qué los productos internos leen las coordenadas limpiamente cuando las direcciones son ortonormales. Esta lección explica cómo construir esas direcciones a partir de una lista linealmente independiente. El libro oficial Mathematics for Machine Learning sitúa la idea en la sección 3.5. Los vectores trabajados, el recurso visual, la implementación en NumPy, la conexión con la IA y las evaluaciones de aquí son originales.

Cada dirección nueva conserva solo su parte no explicada

Sean a1,…,aka_1,\ldots,a_k vectores de Rd\mathbb{R}^d. Los vectores de entrada no tienen que ser perpendiculares ni tener longitud unitaria. Gram–Schmidt construye vectores unitarios q1,…,qkq_1,\ldots,q_k en el mismo subespacio generado, siempre que cada entrada nueva aporte una dirección distinta de cero después de retirar las anteriores.

El primer vector no tiene nada que restar. Para los vectores posteriores, usa el producto interno con cada dirección unitaria anterior para medir cuánto apunta el vector nuevo hacia ella. Como cada qjq_j tiene longitud uno, ⟨qj,ai⟩qj\langle q_j,a_i\rangle q_j es exactamente la proyección de aia_i sobre esa dirección.

La palabra residual cumple una función importante. No es simplemente un vector intermedio que se descarta después de normalizarlo. Su norma, ∥ri∥2\lVert r_i\rVert_2, es la distancia desde aia_i al subespacio generado por las direcciones anteriores. Un residual grande significa que la entrada aporta un componente nuevo considerable respecto al orden elegido. Un residual pequeño significa que la entrada está cerca del subespacio anterior. Un residual cero no se puede normalizar.

La construcción es secuencial, así que el orden forma parte del cálculo. Si las entradas son independientes, distintos órdenes siguen describiendo el mismo subespacio en aritmética exacta, pero pueden producir direcciones, signos y tamaños de residual diferentes en cada paso. Esto importa cuando el residual se acerca al límite de precisión o al nivel de ruido.

Un cálculo con tres vectores, una proyección a la vez

Usa tres vectores de R3\mathbb{R}^3:

a1=[110],a2=[101],a3=[011].a_1=\begin{bmatrix}1\\1\\0\end{bmatrix}, \qquad a_2=\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad a_3=\begin{bmatrix}0\\1\\1\end{bmatrix}.

Aquí las coordenadas no tienen una unidad física; son tres componentes de una dirección de características de juguete. Mantener números pequeños hace visibles la proyección y la normalización.

El recurso visual de abajo convierte esa secuencia en un recorrido controlado por el lector. Cada panel muestra la entrada, la proyección total eliminada, el residual y la dirección unitaria de una etapa. La tabla no es un duplicado decorativo: es la alternativa numérica renderizada en el servidor y mantiene la comparación completa para usuarios de teclado y de tecnologías de asistencia.

Sigue el residual a través de Gram–Schmidt

Usa los botones o el menú de selección. La etapa elegida se anuncia y la tabla inferior sigue disponible sin interacción.

1 de 3: comienza con a₁
Sigue el residual a través de Gram–Schmidtcomienza con a₁. Los cuatro paneles muestran entrada aᵢ, proyección eliminada, residual rᵢ y dirección unitaria qᵢ; cada vector también aparece exactamente en la tabla inferior.Entrada aᵢx₁x₂x₃(1, 1, 0)Proyección eliminadax₁x₂x₃(0, 0, 0)Residual rᵢx₁x₂x₃(1, 1, 0)Dirección unitaria qᵢx₁x₂x₃(0.71, 0.71, 0)
Vector de entrada
(1, 1, 0)
Proyección eliminada
(0, 0, 0)
Residual antes de normalizar
(1, 1, 0)
Dirección normalizada
(0.71, 0.71, 0)
Todas las etapas de Gram–Schmidt y sus vectores tridimensionales.
EtapaEntrada aᵢProyección eliminadaResidual rᵢDirección unitaria qᵢ
comienza con a₁(1, 1, 0)(0, 0, 0)(1, 1, 0)(0.71, 0.71, 0)
elimina q₁ de a₂(1, 0, 1)(0.5, 0.5, 0)(0.5, −0.5, 1)(0.41, −0.41, 0.82)
elimina q₁ y q₂ de a₃(0, 1, 1)(0.67, 0.33, 0.33)(−0.67, 0.67, 0.67)(−0.58, 0.58, 0.58)

El diagrama redondea los valores a dos decimales; el cálculo trabajado en la lección conserva radicales y fracciones exactos.

Elige una etapa para ver la entrada, la parte ya explicada por las direcciones anteriores, el residual restante y su dirección normalizada. La tabla es la alternativa numérica completa al diagrama.

NumPy reproduce la derivación y expone las comprobaciones

La implementación puede guardar las direcciones como filas. Para cada entrada comienza con una copia del vector original, resta una proyección cada vez, mide la norma del residual y solo normaliza cuando esa norma supera la tolerancia. numpy.linalg.norm proporciona las longitudes euclídeas usadas aquí. Esta forma, de una proyección a la vez, suele llamarse Gram–Schmidt modificado; en aritmética exacta realiza las mismas restas que la suma mostrada, mientras que el orden de actualización hace explícito el residual actual.

import numpy as np


def gram_schmidt(vectors, rtol=1e-12):
    directions = []
    residual_norms = []

    for index, vector in enumerate(vectors, start=1):
        original = np.asarray(vector, dtype=float)
        if original.ndim != 1:
            raise ValueError(f"vector {index} must be one-dimensional")

        residual = original.copy()
        for q in directions:
            coefficient = q @ residual
            residual -= coefficient * q

        residual_norm = np.linalg.norm(residual)
        residual_norms.append(residual_norm)
        scale = max(1.0, np.linalg.norm(original))
        if residual_norm <= rtol * scale:
            raise ValueError(
                f"vector {index} is dependent at rtol={rtol:g}"
            )

        directions.append(residual / residual_norm)

    return np.array(directions), np.array(residual_norms)


A = np.array([
    [1.0, 1.0, 0.0],
    [1.0, 0.0, 1.0],
    [0.0, 1.0, 1.0],
])

Q, residual_norms = gram_schmidt(A)
np.set_printoptions(precision=8, suppress=True)
print(Q)
print(residual_norms)
print(Q @ Q.T)
print(np.allclose(Q @ Q.T, np.eye(3), rtol=1e-12, atol=1e-12))

La salida verificada es:

[[ 0.70710678  0.70710678  0.        ]
 [ 0.40824829 -0.40824829  0.81649658]
 [-0.57735027  0.57735027  0.57735027]]
[1.41421356 1.22474487 1.15470054]
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]
True

Como las direcciones se guardan como filas, Q @ Q.T es la matriz de Gram de la salida. La matriz identidad confirma longitudes unitarias en la diagonal y productos internos cruzados cero en las demás posiciones. Si una implementación guarda las direcciones como columnas, la comprobación correspondiente es Q.T @ Q; la convención de forma debe decidirse antes de escribir la multiplicación.

np.allclose compara valores de punto flotante con tolerancias relativas y absolutas explícitas, en vez de exigir igualdad decimal exacta. Es una prueba del resultado calculado, no un permiso para tratar cualquier número pequeño como cero. La tolerancia debe corresponder a la escala y al ruido de los datos de características.

El tamaño del residual es una advertencia de solapamiento, no un veredicto

Considera un par casi duplicado:

a1=(1,1,0),a2=(1,1+10−10,0).a_1=(1,1,0), \qquad a_2=(1,1+10^{-10},0).

Después de eliminar la componente q1q_1, el segundo residual es aproximadamente

r2≈(−5×10−11, 5×10−11, 0),∥r2∥2≈7.07×10−11.r_2\approx(-5\times10^{-11},\,5\times10^{-11},\,0), \qquad \lVert r_2\rVert_2\approx7.07\times10^{-11}.

Con rtol=1e-12, el residual supera el umbral para esta escala de entrada y el código acepta una dirección nueva muy pequeña. Con rtol=1e-9, se marca como dependiente. Ninguna configuración descubre una verdad universal sobre las características: la primera pide una separación más fina, mientras que la segunda considera que esa separación está por debajo de la resolución útil de la aplicación.

Un vector exactamente dependiente es más claro. Si a2=2a1a_2=2a_1, restar su proyección deja r2=0r_2=0. Dividir por ∥r2∥2\lVert r_2\rVert_2 sería dividir por cero, así que una implementación robusta debe detenerse, descartar el vector o informar de la redundancia. No debe emitir nan y continuar como si existiera una dirección nueva.

La comprobación consciente de la escala en el código usa ∥ri∥2≤rtol max⁡(1,∥ai∥2)\lVert r_i\rVert_2\le\texttt{rtol}\,\max(1,\lVert a_i\rVert_2) como regla de decisión. En una canalización real de características, elige el umbral a partir del ruido de medición esperado, el escalado de las características y la decisión posterior. Registra esa elección junto con el diagnóstico. Una tolerancia sin escala es difícil de interpretar.

El orden cambia la base y la historia de estabilidad

Gram–Schmidt es una construcción que conserva el subespacio generado, no una operación de ordenación independiente del orden. Reordenar las entradas independientes cambia qué dirección se construye primero, por lo que cambian las proyecciones y los residuales posteriores. La lista final sigue generando el mismo subespacio en aritmética exacta, pero los vectores de la base pueden rotar dentro de él o cambiar de signo. Cerca de la dependencia, la diferencia es más importante: colocar pronto un vector casi redundante puede hacer que los residuales posteriores parezcan pequeños, mientras que empezar con una dirección mejor condicionada puede dejar más margen numérico.

Para un cálculo pedagógico pequeño, el bucle explícito es valioso porque cada proyección queda visible. Para una matriz grande o mal condicionada, usa una factorización QR probada como numpy.linalg.qr e inspecciona su rango o sus diagnósticos de reconstrucción. Cambia la herramienta numérica, no el objetivo geométrico.

Las direcciones de características no son variables estadísticamente independientes

Supón que las filas de una matriz son direcciones de características: quizá patrones de medición diseñados a mano, sondas aprendidas o direcciones usadas para inspeccionar la representación de un modelo. Gram–Schmidt puede producir un marco de coordenadas ortogonal para su subespacio generado. La norma del residual indica cuánto aporta cada fila de dirección lineal nueva respecto a las filas procesadas anteriormente. Esto puede orientar la revisión de características o revelar un duplicado cercano antes de un análisis lineal posterior.

Pero no demuestra que las variables aleatorias originales sean estadísticamente independientes ni promete mejores predicciones. La ortogonalidad compara vectores fijos bajo un producto interno elegido. La independencia estadística es una afirmación sobre una distribución de probabilidad conjunta. Incluso una covarianza cero solo descarta una relación lineal concreta.

Como contraejemplo concreto, toma las muestras centradas

x=(−2,−1,0,1,2),y=(2,−1,−2,−1,2)=x2−2.x=(-2,-1,0,1,2), \qquad y=(2,-1,-2,-1,2)=x^2-2.

Su producto punto es

xTy=(−2)(2)+(−1)(−1)+0(−2)+1(−1)+2(2)=0.x^{\mathsf T}y=(-2)(2)+(-1)(-1)+0(-2)+1(-1)+2(2)=0.

Las columnas de muestras no tienen solapamiento lineal, pero yy queda completamente determinada por xx mediante una regla no lineal. En un informe de IA, di que las direcciones son ortogonales o que la covarianza de las muestras centradas es cero bajo la convención indicada. Reserva “independientes” para una conclusión respaldada por un argumento probabilístico separado.

Por tanto, Gram–Schmidt ofrece un puente práctico desde la idea de coordenadas ortonormales de la lección anterior hasta el diagnóstico de características: elimina la parte explicada, mide lo que queda, normaliza solo cuando el resto es significativo e informa del orden y la tolerancia que produjeron la decisión. La siguiente lección usará la misma idea del residual para describir direcciones ortogonales a todo un subespacio.

Comprueba tu comprensión

Pregunta 1

Para los vectores de entrada a₁,…,aᵢ y las direcciones unitarias existentes q₁,…,qᵢ₋₁, escribe el residual rᵢ y explica por qué su norma es informativa.

Mostrar la solución paso a paso

Empieza restando la proyección sobre cada dirección anterior:

ri=ai−∑j=1i−1⟨qj,ai⟩qj.r_i=a_i-\sum_{j=1}^{i-1}\langle q_j,a_i\rangle q_j.

El coeficiente ⟨qj,ai⟩\langle q_j,a_i\rangle mide la componente en la dirección qjq_j porque qjq_j tiene longitud uno. Después de retirar todas esas componentes, ∥ri∥2\lVert r_i\rVert_2 es la distancia de aia_i al subespacio generado por las direcciones anteriores. Un valor cero significa que no queda una dirección nueva; un valor pequeño significa que la entrada está casi en ese subespacio a la escala numérica elegida.

Pregunta 2

Ejecuta los dos primeros pasos de Gram–Schmidt para a₁=(1, 1) y a₂=(1, 0). Da q₁, la proyección eliminada de a₂, r₂ y q₂.

Mostrar la solución paso a paso

La primera norma es

∥a1∥2=12+12=2,q1=[1/21/2].\lVert a_1\rVert_2=\sqrt{1^2+1^2}=\sqrt2, \qquad q_1=\begin{bmatrix}1/\sqrt2\\1/\sqrt2\end{bmatrix}.

El coeficiente de proyección de a2a_2 es

q1Ta2=12.q_1^{\mathsf T}a_2=\frac1{\sqrt2}.

Por tanto, el vector de proyección es (1/2,1/2)(1/2,1/2) y

r2=[10]−[1/21/2]=[1/2−1/2].r_2=\begin{bmatrix}1\\0\end{bmatrix} -\begin{bmatrix}1/2\\1/2\end{bmatrix} =\begin{bmatrix}1/2\\-1/2\end{bmatrix}.

Su norma es 1/21/\sqrt2, así que la normalización da

q2=[1/2−1/2].q_2=\begin{bmatrix}1/\sqrt2\\-1/\sqrt2\end{bmatrix}.

El producto interno cruzado es q1Tq2=1/2−1/2=0q_1^{\mathsf T}q_2=1/2-1/2=0, lo que verifica la nueva dirección.

Pregunta 3

En el ejemplo de tres vectores de la lección, ¿por qué la proyección total eliminada de a₃ es igual a (2/3, 1/3, 1/3)? Muestra los dos vectores de proyección antes de sumarlos.

Mostrar la solución paso a paso

Los dos coeficientes son

q1Ta3=12,q2Ta3=16.q_1^{\mathsf T}a_3=\frac1{\sqrt2}, \qquad q_2^{\mathsf T}a_3=\frac1{\sqrt6}.

Multiplica cada coeficiente por su dirección:

12q1=[1/21/20],16q2=[1/6−1/61/3].\frac1{\sqrt2}q_1 =\begin{bmatrix}1/2\\1/2\\0\end{bmatrix}, \qquad \frac1{\sqrt6}q_2 =\begin{bmatrix}1/6\\-1/6\\1/3\end{bmatrix}.

Sumar las coordenadas correspondientes da

[1/2+1/61/2−1/60+1/3]=[2/31/31/3].\begin{bmatrix}1/2+1/6\\1/2-1/6\\0+1/3\end{bmatrix} =\begin{bmatrix}2/3\\1/3\\1/3\end{bmatrix}.

Ese vector es la parte de a3a_3 ya explicada por las dos primeras direcciones; restarlo deja el residual con el que se construye q3q_3.

Pregunta 4

¿Qué debe hacer una implementación de Gram–Schmidt cuando una entrada nueva es exactamente un múltiplo de una entrada anterior, como a₂=2a₁?>

Mostrar la solución paso a paso

Si a2=2a1a_2=2a_1, la primera dirección q1q_1 genera a a2a_2. La proyección es

(q1Ta2)q1=2∥a1∥2q1=2a1=a2,(q_1^{\mathsf T}a_2)q_1=2\lVert a_1\rVert_2q_1=2a_1=a_2,

por lo que el residual es r2=0r_2=0. Su norma es cero y la expresión r2/∥r2∥2r_2/\lVert r_2\rVert_2 no está definida. La implementación debe informar de la dependencia, descartar el duplicado o aplicar una política documentada explícitamente; no debe normalizar el vector cero ni conservar silenciosamente valores nan.

Pregunta 5

¿Por qué dos órdenes de entrada distintos pueden producir vectores-q diferentes aunque generen el mismo subespacio? ¿Qué permanece invariante en aritmética exacta?

Mostrar la solución paso a paso

Cada dirección nueva se hace ortogonal a las direcciones que llegaron antes. Cambiar el orden cambia el subespacio anterior en cada paso, por lo que pueden cambiar la proyección, el residual y la dirección normalizada. Una dirección también puede cambiar de signo sin cambiar el subespacio unidimensional que representa.

Para entradas linealmente independientes, la aritmética exacta sigue conservando el subespacio generado por la lista completa: cada vector original se puede reconstruir con las direcciones de salida y estas pertenecen al subespacio original. Los vectores individuales de la base y los tamaños de los residuales intermedios dependen del orden, por lo que el orden forma parte del diagnóstico numérico.

Pregunta 6

El código guarda los vectores-q como filas. ¿Qué comprobación matricial verifica la ortonormalidad y qué error entre filas y columnas cambiaría la comprobación?

Mostrar la solución paso a paso

Con las direcciones en filas, la entrada (i,j)(i,j) de QQTQ Q^{\mathsf T} es el producto interno de la fila ii y la fila jj. Por tanto, la comprobación correcta es

QQT≈I.Q Q^{\mathsf T}\approx I.

En NumPy, usa np.allclose(Q @ Q.T, np.eye(Q.shape[0]), atol=...) con una tolerancia declarada. Si las direcciones están en columnas, la matriz de Gram correspondiente es QTQQ^{\mathsf T}Q. Usar la comprobación de columnas con datos guardados por filas puede inspeccionar relaciones por pares equivocadas o producir una forma que no coincida con la identidad prevista.

Pregunta 7

Una dirección de características nueva tiene una norma residual de 0.00000000007 después de retirar las direcciones anteriores. ¿Significa eso automáticamente que la característica no sirve?

Mostrar la solución paso a paso

No. El valor dice que la nueva dirección aporta muy poco respecto al subespacio anterior en la escala y el orden de entrada actuales. Que sea despreciable depende del ruido de medición, las unidades de las características, la sensibilidad posterior y la tolerancia elegida.

Por ejemplo, rtol=1e-12 puede aceptar un residual cercano a 7×10−117\times10^{-11} para un vector de escala unitaria, mientras que rtol=1e-9 puede clasificarlo como dependiente. La interpretación correcta es una decisión numérica documentada—“por debajo de esta resolución” o “conservado a esta resolución”—, no una afirmación universal sobre su valor predictivo.

Pregunta 8

¿Por qué un producto punto centrado igual a cero entre muestras de características no demuestra la independencia estadística? Usa x=(−2,−1,0,1,2) e y=(2,−1,−2,−1,2).

Mostrar la solución paso a paso

Primero calcula el solapamiento lineal:

xTy=−4+1+0−1+4=0.x^{\mathsf T}y=-4+1+0-1+4=0.

Como los dos vectores de muestra están centrados, esto también da una covarianza empírica igual a cero bajo la convención habitual de pesos iguales. Pero la relación y=x2−2y=x^2-2 determina cada valor de yy a partir de xx. La pareja presenta una dependencia no lineal aunque su producto interno lineal sea cero.

La ortogonalidad y la covarianza cero describen una comparación lineal. La independencia requiere una afirmación sobre la distribución conjunta completa, así que necesita evidencia separada.

Fuentes

  1. Mathematics for Machine Learning book PDF, Section 3.5
  2. NumPy documentation: numpy.linalg.norm
  3. NumPy documentation: numpy.allclose
  4. NumPy documentation: numpy.linalg.qr