Curso de Matemáticas para IA · Lección 46 de 180
Las bases ortonormales simplifican las coordenadas
Verifica una base ortonormal y recupera las coordenadas de una señal mediante productos internos; después conecta el cálculo con características de IA decorrelacionadas.
Una representación de IA puede usar un sistema de coordenadas más fácil de leer que los ejes de características sin procesar. El caso más cómodo es una base ortonormal: sus direcciones son perpendiculares y cada una tiene longitud 1. En esa base, la cantidad de una señal a lo largo de una dirección es simplemente un producto interno. No hay que resolver un sistema lineal pequeño ni corregir un eje estirado.
Al terminar esta lección podrás verificar que una base es ortonormal y calcular las coordenadas de un vector mediante productos internos. También sabrás por qué las direcciones ortogonales de las características pueden reducir la superposición lineal sin demostrar que las variables aleatorias subyacentes sean independientes.
Resultado de aprendizaje: Verificar la ortonormalidad y calcular coordenadas mediante productos internos.
Esta lección combina la Lección 031: Las bases proporcionan sistemas de coordenadas compactos, que estableció la unicidad de las coordenadas en una base, con la Lección 045: La ortogonalidad significa que no hay superposición lineal, que estableció la prueba del producto interno igual a cero. El libro oficial Mathematics for Machine Learning sitúa esta idea en la Sección 3.5. Las explicaciones, el ejemplo numérico, el código, la visualización, la conexión con IA y las evaluaciones de aquí son originales.
Los vectores unitarios perpendiculares forman un marco legible
Sean vectores de . Una base es ortonormal cuando cada vector tiene longitud euclídea unitaria y cada par distinto es ortogonal. Los dos requisitos pueden escribirse como una sola regla:
La palabra base sigue siendo importante. Un par de vectores unitarios perpendiculares en un plano alcanza cualquier punto de ese plano, por lo que forma una base para él. En un espacio de mayor dimensión, la lista debe contener suficientes direcciones para cubrir el espacio que se representa. La ortonormalidad hace que una base sea especialmente fácil de usar; no cambia la dimensión ni crea un espacio vectorial nuevo.
Supón que una señal se escribe en esta base como
Toma el producto interno con uno de los vectores de la base, por ejemplo :
Todos los términos desaparecen salvo el que tiene : la ortogonalidad hace que los demás productos internos sean cero y la longitud unitaria hace que el producto interno que queda sea uno. Por tanto, las coordenadas se leen directamente como
Para una base cuadrada completa, esta regla se convierte en dos operaciones correspondientes:
La traspuesta es el lector de coordenadas. La matriz original es la que reconstruye la señal.
Un ejemplo completo de lectura de coordenadas
Usa las dos direcciones candidatas siguientes:
Están rotadas con respecto a los ejes horizontal y vertical estándar, pero las fracciones permiten hacer las comprobaciones exactamente.
El lector de coordenadas de abajo usa la misma base fija y tres señales pequeñas. Cambiar la señal cambia el extremo y los dos productos internos; las flechas de la base siguen siendo perpendiculares y de longitud unitaria. La tabla se renderiza junto con la visualización, de modo que el cálculo sigue disponible antes de que se ejecute JavaScript y para quien no use el gráfico.
Leer coordenadas en una base ortonormal
Base fija: u₁ = (3/5, 4/5), u₂ = (−4/5, 3/5)
La tabla de abajo sigue siendo la alternativa numérica completa al diagrama de coordenadas.
Lectura actual: Señal A
- Vector en coordenadas estándar
- (2, 1)
- Coordenadas de productos internos
- (2, −1)
- Reconstrucción
- (2, 1)
| Señal | Vector | ⟨v, u₁⟩ | ⟨v, u₂⟩ |
|---|---|---|---|
| Señal A | (2, 1) | 2 | −1 |
| Señal B | (1, 2) | 2.2 | 0.4 |
| Señal C | (−1, 1) | 0.2 | 1.4 |
Los coeficientes se calculan mediante productos internos porque la base mostrada es ortonormal.
NumPy puede verificar y leer la base
Para arrays unidimensionales, NumPy define numpy.inner como el producto interno ordinario. numpy.linalg.norm calcula una norma vectorial; con su orden predeterminado en un array unidimensional, es la longitud euclídea que usamos aquí. El código siguiente conserva los vectores de la base como columnas de , de modo que U.T @ v realiza los dos productos internos en una sola operación.
import numpy as np
U = np.array([
[3 / 5, -4 / 5],
[4 / 5, 3 / 5],
], dtype=float) # u1 and u2 are columns
v = np.array([2.0, 1.0])
gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates
print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))
La salida es:
[[1. 0.]
[0. 1.]]
[ 2. -1.]
[2. 1.]
True
True
U.T @ U comprueba la ortonormalidad, U.T @ v lee las coordenadas y U @ coordinates reconstruye la señal. Las llamadas a allclose son apropiadas para cálculos en coma flotante: una implementación decimal puede producir un valor diminuto como 2.220446049250313e-16 donde el valor exacto es cero. No convierten una matriz arbitraria en una base ortonormal; solo comparan el resultado calculado con una tolerancia.
Es fácil equivocarse con la orientación. Si los vectores de la base se almacenan como filas, cambia el orden de la multiplicación. Decide si las filas o las columnas contienen las direcciones, escribe la forma esperada y comprueba la reconstrucción en lugar de suponer que una multiplicación que encaja tiene sentido.
Por qué esto ayuda a una representación de IA
Supón que un codificador representa una señal centrada en dos direcciones aprendidas. Si las direcciones forman una base ortonormal, la representación puede guardar . Cada coordenada informa de la cantidad con signo de la señal a lo largo de una dirección, y la longitud al cuadrado se separa limpiamente:
El término cruzado desaparece porque . Por tanto, un lector lineal posterior puede razonar sobre una coordenada sin añadir accidentalmente un componente de la otra a través de la geometría de la base.
Este es el significado geométrico de los ejes decorrelacionados: las direcciones elegidas no tienen superposición lineal bajo el producto interno especificado. Es útil, pero es una afirmación más limitada que decir que “las características no están relacionadas”.
El análisis de componentes principales es un contexto habitual de implementación. La documentación actual de PCA de scikit-learn describe PCA como la proyección de datos centrados sobre componentes ortogonales. Su opción whiten=True además escala los componentes transformados para que tengan varianza unitaria por componente; la ortogonalidad ordinaria no implica que todos los componentes tengan la misma varianza. Por tanto, PCA puede proporcionar un marco de coordenadas ortogonal, mientras que el blanqueo es una elección de escala separada.
Tres límites que evitan exagerar las afirmaciones
Una base no ortonormal sigue funcionando, pero el atajo no
Toma y . Forman una base de : son independientes y generan el plano. Sin embargo, tiene longitud y los dos vectores no son ortogonales. Para , los productos internos son
pero no son sus coordenadas. Resuelve la combinación real:
La segunda fila da y la primera da . Las coordenadas son , no . Si una base es ortogonal pero sus vectores no tienen longitud unitaria, sobrevive un atajo parcial:
Para una base completamente no ortogonal, los términos cruzados permanecen y el problema de coordenadas es un sistema lineal que involucra la matriz de Gram de la base.
El vector cero no tiene una dirección que normalizar
El vector cero satisface para todo , por lo que la definición algebraica dice que es ortogonal a cualquier vector. Pero y no está definido. No puede formar parte de una base ortonormal: no tiene dirección y es linealmente dependiente de cualquier lista que lo contenga. Un vector cero puede ser una señal cuyas coordenadas son todas cero; no puede ser uno de los ejes usados para leer esas coordenadas.
La ortogonalidad no es independencia estadística
Estas palabras responden a preguntas distintas:
| Término | ¿Qué se compara? | ¿Qué significa la condición cero? | ¿Qué no demuestra? |
|---|---|---|---|
| Ortogonalidad | Vectores fijos en un espacio con un producto interno elegido | Su producto interno es cero | Que no exista una relación no lineal en los datos |
| Decorrelación | Variables aleatorias centradas o columnas de un conjunto de datos | Su covarianza es cero según la convención muestral indicada | Independencia estadística |
| Independencia | Una distribución de probabilidad conjunta | La ley conjunta se factoriza en leyes marginales | No se establece mediante un solo producto punto |
Este es un pequeño contraejemplo. Sea
donde la última igualdad se evalúa coordenada por coordenada. Ambas columnas están centradas y
Por tanto, su covarianza empírica es cero, pero está completamente determinada por mediante una regla no lineal. Una prueba de superposición lineal no detectó esa dependencia; no demostró independencia. En un pipeline de IA, llama al resultado “ortogonal” o “no correlacionado en esta muestra centrada”, salvo que un argumento probabilístico independiente respalde la afirmación más fuerte.
Comprueba lo que has entendido
Question 1
¿Forman u₁=(0, 1) y u₂=(−1, 0) una base ortonormal de ℝ²? Verifica ambos requisitos y explica la conclusión.
Show the step-by-step solution
Calcula las dos longitudes:
Ahora calcula el producto interno cruzado:
Los vectores tienen longitud unitaria y son perpendiculares. También son dos direcciones independientes en , así que forman una base ortonormal.
Question 2
Usando u₁=(3/5, 4/5) y u₂=(−4/5, 3/5), calcula las coordenadas de v=(1, 2) mediante productos internos.
Show the step-by-step solution
Como la base es ortonormal, calcula un producto interno para cada coordenada:
Así, . Comprueba el primer componente de la reconstrucción:
El segundo componente es
por lo que las coordenadas reconstruyen .
Question 3
¿Qué vector en coordenadas estándar representa el par (3, −2) en la base fija de la lección? Muestra la combinación antes de simplificarla.
Show the step-by-step solution
Empieza con la definición de las coordenadas en la base:
Combina los componentes correspondientes:
El par de coordenadas no es el vector en coordenadas estándar; son los dos coeficientes que deben aplicarse a las dos direcciones de la base.
Question 4
¿Por qué cⱼ=⟨uⱼ,v⟩ aísla una coordenada cuando v=Σᵢ cᵢuᵢ? Indica las dos propiedades que eliminan los demás términos.
Show the step-by-step solution
Toma el producto interno con y distribúyelo sobre la suma:
Para todo , la ortogonalidad da , así que esos términos desaparecen. Para , la longitud unitaria da , dejando . Ambas propiedades son necesarias: los vectores perpendiculares pero estirados dejan un factor de longitud al cuadrado, mientras que los vectores unitarios pero no perpendiculares dejan términos cruzados.
Question 5
Para b₁=(1, 0), b₂=(1, 1) y v=(2, 3), explica por qué los productos internos no son las coordenadas y resuelve las coordenadas reales.
Show the step-by-step solution
Primero comprueba las condiciones del atajo. El segundo vector tiene longitud y
así que la base no es ortogonal ni ortonormal. Los productos internos son y , pero estos números no tienen la interpretación del atajo.
Resuelve la combinación que define las coordenadas:
La segunda fila da ; al sustituir en la primera se obtiene y, por tanto, . Las coordenadas reales son .
Question 6
Un colega afirma que el vector cero es una dirección ortonormal válida porque su producto punto con cualquier vector es cero. ¿Qué falla en ese razonamiento?
Show the step-by-step solution
La afirmación sobre el producto punto es algebraicamente correcta: . Pero un vector ortonormal también debe tener norma 1, mientras que
No hay una dirección que normalizar, porque dividir por su norma exigiría dividir entre cero. Por ello, el vector cero queda excluido de una base ortonormal aunque sea ortogonal a cualquier vector en el sentido algebraico de tener producto interno cero.
Question 7
Las muestras centradas x=(−1, 0, 1) e y=(1, −2, 1) tienen producto punto cero. ¿Demuestra eso que x e y son estadísticamente independientes? Usa la relación entre ellas para decidir.
Show the step-by-step solution
Su producto punto es
así que su covarianza empírica es cero según la convención de muestras centradas. Sin embargo, cada valor de está determinado por mediante . Es una relación no lineal determinista, por lo que las variables no son independientes. El producto punto cero descarta el movimiento lineal conjunto medido en esta muestra; no descarta una dependencia no lineal.
Question 8
En el código de NumPy, U almacena las direcciones de la base como columnas. Un error sustituye coordinates = U.T @ v por coordinates = U @ v. ¿Qué comprobación debería detectar el error y por qué U.T es el lector correcto?
Show the step-by-step solution
La comprobación de reconstrucción debe comparar U @ coordinates con v usando np.allclose. La ecuación de coordenadas prevista es
porque su componente es el producto punto de la columna con . Después,
para una base ortonormal completa. Sustituir por calcula una combinación lineal distinta de las filas y columnas; puede seguir produciendo un vector con la forma correcta, pero la comparación de reconstrucción revela que no contiene las coordenadas de productos internos previstas.