Curso de Matemáticas para IA · Lección 46 de 180

Las bases ortonormales simplifican las coordenadas

Verifica una base ortonormal y recupera las coordenadas de una señal mediante productos internos; después conecta el cálculo con características de IA decorrelacionadas.

Comparte este artículo

Una representación de IA puede usar un sistema de coordenadas más fácil de leer que los ejes de características sin procesar. El caso más cómodo es una base ortonormal: sus direcciones son perpendiculares y cada una tiene longitud 1. En esa base, la cantidad de una señal a lo largo de una dirección es simplemente un producto interno. No hay que resolver un sistema lineal pequeño ni corregir un eje estirado.

Al terminar esta lección podrás verificar que una base es ortonormal y calcular las coordenadas de un vector mediante productos internos. También sabrás por qué las direcciones ortogonales de las características pueden reducir la superposición lineal sin demostrar que las variables aleatorias subyacentes sean independientes.

Resultado de aprendizaje: Verificar la ortonormalidad y calcular coordenadas mediante productos internos.

Esta lección combina la Lección 031: Las bases proporcionan sistemas de coordenadas compactos, que estableció la unicidad de las coordenadas en una base, con la Lección 045: La ortogonalidad significa que no hay superposición lineal, que estableció la prueba del producto interno igual a cero. El libro oficial Mathematics for Machine Learning sitúa esta idea en la Sección 3.5. Las explicaciones, el ejemplo numérico, el código, la visualización, la conexión con IA y las evaluaciones de aquí son originales.

Los vectores unitarios perpendiculares forman un marco legible

Sean u1,…,unu_1,\ldots,u_n vectores de Rn\mathbb{R}^n. Una base es ortonormal cuando cada vector tiene longitud euclídea unitaria y cada par distinto es ortogonal. Los dos requisitos pueden escribirse como una sola regla:

La palabra base sigue siendo importante. Un par de vectores unitarios perpendiculares en un plano alcanza cualquier punto de ese plano, por lo que forma una base para él. En un espacio de mayor dimensión, la lista debe contener suficientes direcciones para cubrir el espacio que se representa. La ortonormalidad hace que una base sea especialmente fácil de usar; no cambia la dimensión ni crea un espacio vectorial nuevo.

Supón que una señal vv se escribe en esta base como

v=c1u1+c2u2+⋯+cnun.v=c_1u_1+c_2u_2+\cdots+c_nu_n.

Toma el producto interno con uno de los vectores de la base, por ejemplo uju_j:

⟨uj,v⟩=⟨uj,∑i=1nciui⟩=∑i=1nci⟨uj,ui⟩=cj.\begin{aligned} \langle u_j,v\rangle &=\left\langle u_j,\sum_{i=1}^{n}c_i u_i\right\rangle\\ &=\sum_{i=1}^{n}c_i\langle u_j,u_i\rangle\\ &=c_j. \end{aligned}

Todos los términos desaparecen salvo el que tiene i=ji=j: la ortogonalidad hace que los demás productos internos sean cero y la longitud unitaria hace que el producto interno que queda sea uno. Por tanto, las coordenadas se leen directamente como

cj=⟨uj,v⟩=ujTv.\boxed{c_j=\langle u_j,v\rangle=u_j^{\mathsf T}v.}

Para una base cuadrada completa, esta regla se convierte en dos operaciones correspondientes:

c=UTv,v=Uc.\boldsymbol{c}=U^{\mathsf T}v, \qquad v=U\boldsymbol{c}.

La traspuesta es el lector de coordenadas. La matriz original es la que reconstruye la señal.

Un ejemplo completo de lectura de coordenadas

Usa las dos direcciones candidatas siguientes:

u1=[3/54/5],u2=[−4/53/5].u_1=\begin{bmatrix}3/5\\4/5\end{bmatrix}, \qquad u_2=\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

Están rotadas con respecto a los ejes horizontal y vertical estándar, pero las fracciones permiten hacer las comprobaciones exactamente.

El lector de coordenadas de abajo usa la misma base fija y tres señales pequeñas. Cambiar la señal cambia el extremo y los dos productos internos; las flechas de la base siguen siendo perpendiculares y de longitud unitaria. La tabla se renderiza junto con la visualización, de modo que el cálculo sigue disponible antes de que se ejecute JavaScript y para quien no use el gráfico.

Leer coordenadas en una base ortonormal

Base fija: u₁ = (3/5, 4/5), u₂ = (−4/5, 3/5)

La tabla de abajo sigue siendo la alternativa numérica completa al diagrama de coordenadas.

Leer coordenadas en una base ortonormalv = (2, 1). Las dos flechas de la base terminan en (0.6, 0.8) y (−0.8, 0.6); la lectura de coordenadas y la tabla proporcionan los productos internos exactos.x₁x₂u₁u₂v

Lectura actual: Señal A

Vector en coordenadas estándar
(2, 1)
Coordenadas de productos internos
(2, −1)
Reconstrucción
(2, 1)
Cada señal disponible y sus coordenadas en la base fija.
SeñalVector⟨v, u₁⟩⟨v, u₂⟩
Señal A(2, 1)2−1
Señal B(1, 2)2.20.4
Señal C(−1, 1)0.21.4

Los coeficientes se calculan mediante productos internos porque la base mostrada es ortonormal.

Las dos flechas de la base siguen siendo perpendiculares y de longitud unitaria. Selecciona una señal para ver sus coordenadas de productos internos y la reconstrucción que vuelve al mismo extremo.

NumPy puede verificar y leer la base

Para arrays unidimensionales, NumPy define numpy.inner como el producto interno ordinario. numpy.linalg.norm calcula una norma vectorial; con su orden predeterminado en un array unidimensional, es la longitud euclídea que usamos aquí. El código siguiente conserva los vectores de la base como columnas de UU, de modo que U.T @ v realiza los dos productos internos en una sola operación.

import numpy as np

U = np.array([
    [3 / 5, -4 / 5],
    [4 / 5,  3 / 5],
], dtype=float)  # u1 and u2 are columns
v = np.array([2.0, 1.0])

gram = U.T @ U
coordinates = U.T @ v
reconstructed = U @ coordinates

print(np.round(gram, 3))
print(coordinates)
print(reconstructed)
print(np.allclose(gram, np.eye(2)))
print(np.allclose(reconstructed, v))

La salida es:

[[1. 0.]
 [0. 1.]]
[ 2. -1.]
[2. 1.]
True
True

U.T @ U comprueba la ortonormalidad, U.T @ v lee las coordenadas y U @ coordinates reconstruye la señal. Las llamadas a allclose son apropiadas para cálculos en coma flotante: una implementación decimal puede producir un valor diminuto como 2.220446049250313e-16 donde el valor exacto es cero. No convierten una matriz arbitraria en una base ortonormal; solo comparan el resultado calculado con una tolerancia.

Es fácil equivocarse con la orientación. Si los vectores de la base se almacenan como filas, cambia el orden de la multiplicación. Decide si las filas o las columnas contienen las direcciones, escribe la forma esperada y comprueba la reconstrucción en lugar de suponer que una multiplicación que encaja tiene sentido.

Por qué esto ayuda a una representación de IA

Supón que un codificador representa una señal centrada vv en dos direcciones aprendidas. Si las direcciones forman una base ortonormal, la representación puede guardar c=UTvc=U^{\mathsf T}v. Cada coordenada informa de la cantidad con signo de la señal a lo largo de una dirección, y la longitud al cuadrado se separa limpiamente:

∥v∥22=∥c1u1+c2u2∥22=c12+c22.\lVert v\rVert_2^2 =\lVert c_1u_1+c_2u_2\rVert_2^2 =c_1^2+c_2^2.

El término cruzado desaparece porque u1Tu2=0u_1^{\mathsf T}u_2=0. Por tanto, un lector lineal posterior puede razonar sobre una coordenada sin añadir accidentalmente un componente de la otra a través de la geometría de la base.

Este es el significado geométrico de los ejes decorrelacionados: las direcciones elegidas no tienen superposición lineal bajo el producto interno especificado. Es útil, pero es una afirmación más limitada que decir que “las características no están relacionadas”.

El análisis de componentes principales es un contexto habitual de implementación. La documentación actual de PCA de scikit-learn describe PCA como la proyección de datos centrados sobre componentes ortogonales. Su opción whiten=True además escala los componentes transformados para que tengan varianza unitaria por componente; la ortogonalidad ordinaria no implica que todos los componentes tengan la misma varianza. Por tanto, PCA puede proporcionar un marco de coordenadas ortogonal, mientras que el blanqueo es una elección de escala separada.

Tres límites que evitan exagerar las afirmaciones

Una base no ortonormal sigue funcionando, pero el atajo no

Toma b1=(1,0)Tb_1=(1,0)^{\mathsf T} y b2=(1,1)Tb_2=(1,1)^{\mathsf T}. Forman una base de R2\mathbb{R}^2: son independientes y generan el plano. Sin embargo, b2b_2 tiene longitud 2\sqrt{2} y los dos vectores no son ortogonales. Para v=(2,3)Tv=(2,3)^{\mathsf T}, los productos internos son

⟨b1,v⟩=2,⟨b2,v⟩=5,\langle b_1,v\rangle=2, \qquad \langle b_2,v\rangle=5,

pero no son sus coordenadas. Resuelve la combinación real:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

La segunda fila da c2=3c_2=3 y la primera da c1=−1c_1=-1. Las coordenadas son (−1,3)(-1,3), no (2,5)(2,5). Si una base es ortogonal pero sus vectores no tienen longitud unitaria, sobrevive un atajo parcial:

cj=⟨bj,v⟩∥bj∥22.c_j=\frac{\langle b_j,v\rangle}{\lVert b_j\rVert_2^2}.

Para una base completamente no ortogonal, los términos cruzados permanecen y el problema de coordenadas es un sistema lineal que involucra la matriz de Gram de la base.

El vector cero no tiene una dirección que normalizar

El vector cero satisface 0Tx=00^{\mathsf T}x=0 para todo xx, por lo que la definición algebraica dice que es ortogonal a cualquier vector. Pero ∥0∥2=0\lVert0\rVert_2=0 y 0/∥0∥20/\lVert0\rVert_2 no está definido. No puede formar parte de una base ortonormal: no tiene dirección y es linealmente dependiente de cualquier lista que lo contenga. Un vector cero puede ser una señal cuyas coordenadas son todas cero; no puede ser uno de los ejes usados para leer esas coordenadas.

La ortogonalidad no es independencia estadística

Estas palabras responden a preguntas distintas:

Término¿Qué se compara?¿Qué significa la condición cero?¿Qué no demuestra?
OrtogonalidadVectores fijos en un espacio con un producto interno elegidoSu producto interno es ceroQue no exista una relación no lineal en los datos
DecorrelaciónVariables aleatorias centradas o columnas de un conjunto de datosSu covarianza es cero según la convención muestral indicadaIndependencia estadística
IndependenciaUna distribución de probabilidad conjuntaLa ley conjunta se factoriza en leyes marginalesNo se establece mediante un solo producto punto

Este es un pequeño contraejemplo. Sea

x=(−1,0,1),y=(1,−2,1)=3x2−2x=(-1,0,1), \qquad y=(1,-2,1)=3x^2-2

donde la última igualdad se evalúa coordenada por coordenada. Ambas columnas están centradas y

xTy=(−1)(1)+0(−2)+1(1)=0.x^{\mathsf T}y=(-1)(1)+0(-2)+1(1)=0.

Por tanto, su covarianza empírica es cero, pero yy está completamente determinada por xx mediante una regla no lineal. Una prueba de superposición lineal no detectó esa dependencia; no demostró independencia. En un pipeline de IA, llama al resultado “ortogonal” o “no correlacionado en esta muestra centrada”, salvo que un argumento probabilístico independiente respalde la afirmación más fuerte.

Comprueba lo que has entendido

Question 1

¿Forman u₁=(0, 1) y u₂=(−1, 0) una base ortonormal de ℝ²? Verifica ambos requisitos y explica la conclusión.

Show the step-by-step solution

Calcula las dos longitudes:

∥u1∥2=02+12=1,∥u2∥2=(−1)2+02=1.\lVert u_1\rVert_2=\sqrt{0^2+1^2}=1, \qquad \lVert u_2\rVert_2=\sqrt{(-1)^2+0^2}=1.

Ahora calcula el producto interno cruzado:

u1Tu2=0(−1)+1(0)=0.u_1^{\mathsf T}u_2=0(-1)+1(0)=0.

Los vectores tienen longitud unitaria y son perpendiculares. También son dos direcciones independientes en R2\mathbb{R}^2, así que forman una base ortonormal.

Question 2

Usando u₁=(3/5, 4/5) y u₂=(−4/5, 3/5), calcula las coordenadas de v=(1, 2) mediante productos internos.

Show the step-by-step solution

Como la base es ortonormal, calcula un producto interno para cada coordenada:

c1=u1Tv=35(1)+45(2)=115,c2=u2Tv=−45(1)+35(2)=25.\begin{aligned} c_1&=u_1^{\mathsf T}v=\frac35(1)+\frac45(2)=\frac{11}{5},\\ c_2&=u_2^{\mathsf T}v=-\frac45(1)+\frac35(2)=\frac25. \end{aligned}

Así, [v]U=(11/5,2/5)T[v]_U=(11/5,2/5)^{\mathsf T}. Comprueba el primer componente de la reconstrucción:

11535+25(−45)=33−825=1.\frac{11}{5}\frac35+\frac25\left(-\frac45\right) =\frac{33-8}{25}=1.

El segundo componente es

11545+2535=44+625=2,\frac{11}{5}\frac45+\frac25\frac35 =\frac{44+6}{25}=2,

por lo que las coordenadas reconstruyen (1,2)(1,2).

Question 3

¿Qué vector en coordenadas estándar representa el par (3, −2) en la base fija de la lección? Muestra la combinación antes de simplificarla.

Show the step-by-step solution

Empieza con la definición de las coordenadas en la base:

v=3u1−2u2=3[3/54/5]−2[−4/53/5].v=3u_1-2u_2 =3\begin{bmatrix}3/5\\4/5\end{bmatrix} -2\begin{bmatrix}-4/5\\3/5\end{bmatrix}.

Combina los componentes correspondientes:

v=[9/5+8/512/5−6/5]=[17/56/5].v=\begin{bmatrix}9/5+8/5\\12/5-6/5\end{bmatrix} =\begin{bmatrix}17/5\\6/5\end{bmatrix}.

El par de coordenadas no es el vector en coordenadas estándar; son los dos coeficientes que deben aplicarse a las dos direcciones de la base.

Question 4

¿Por qué cⱼ=⟨uⱼ,v⟩ aísla una coordenada cuando v=Σᵢ cᵢuᵢ? Indica las dos propiedades que eliminan los demás términos.

Show the step-by-step solution

Toma el producto interno con uju_j y distribúyelo sobre la suma:

⟨uj,v⟩=⟨uj,∑iciui⟩=∑ici⟨uj,ui⟩.\langle u_j,v\rangle =\left\langle u_j,\sum_i c_i u_i\right\rangle =\sum_i c_i\langle u_j,u_i\rangle.

Para todo i≠ji\ne j, la ortogonalidad da ⟨uj,ui⟩=0\langle u_j,u_i\rangle=0, así que esos términos desaparecen. Para i=ji=j, la longitud unitaria da ⟨uj,uj⟩=1\langle u_j,u_j\rangle=1, dejando cj⋅1=cjc_j\cdot1=c_j. Ambas propiedades son necesarias: los vectores perpendiculares pero estirados dejan un factor de longitud al cuadrado, mientras que los vectores unitarios pero no perpendiculares dejan términos cruzados.

Question 5

Para b₁=(1, 0), b₂=(1, 1) y v=(2, 3), explica por qué los productos internos no son las coordenadas y resuelve las coordenadas reales.

Show the step-by-step solution

Primero comprueba las condiciones del atajo. El segundo vector tiene longitud 2\sqrt2 y

b1Tb2=1(1)+0(1)=1≠0,b_1^{\mathsf T}b_2=1(1)+0(1)=1\ne0,

así que la base no es ortogonal ni ortonormal. Los productos internos son b1Tv=2b_1^{\mathsf T}v=2 y b2Tv=5b_2^{\mathsf T}v=5, pero estos números no tienen la interpretación del atajo.

Resuelve la combinación que define las coordenadas:

c1b1+c2b2=[c1+c2c2]=[23].c_1b_1+c_2b_2 =\begin{bmatrix}c_1+c_2\\c_2\end{bmatrix} =\begin{bmatrix}2\\3\end{bmatrix}.

La segunda fila da c2=3c_2=3; al sustituir en la primera se obtiene c1+3=2c_1+3=2 y, por tanto, c1=−1c_1=-1. Las coordenadas reales son (−1,3)(-1,3).

Question 6

Un colega afirma que el vector cero es una dirección ortonormal válida porque su producto punto con cualquier vector es cero. ¿Qué falla en ese razonamiento?

Show the step-by-step solution

La afirmación sobre el producto punto es algebraicamente correcta: 0Tx=00^{\mathsf T}x=0. Pero un vector ortonormal también debe tener norma 1, mientras que

∥0∥2=0.\lVert0\rVert_2=0.

No hay una dirección que normalizar, porque dividir por su norma exigiría dividir entre cero. Por ello, el vector cero queda excluido de una base ortonormal aunque sea ortogonal a cualquier vector en el sentido algebraico de tener producto interno cero.

Question 7

Las muestras centradas x=(−1, 0, 1) e y=(1, −2, 1) tienen producto punto cero. ¿Demuestra eso que x e y son estadísticamente independientes? Usa la relación entre ellas para decidir.

Show the step-by-step solution

Su producto punto es

(−1)(1)+0(−2)+1(1)=0,(-1)(1)+0(-2)+1(1)=0,

así que su covarianza empírica es cero según la convención de muestras centradas. Sin embargo, cada valor de yy está determinado por xx mediante y=3x2−2y=3x^2-2. Es una relación no lineal determinista, por lo que las variables no son independientes. El producto punto cero descarta el movimiento lineal conjunto medido en esta muestra; no descarta una dependencia no lineal.

Question 8

En el código de NumPy, U almacena las direcciones de la base como columnas. Un error sustituye coordinates = U.T @ v por coordinates = U @ v. ¿Qué comprobación debería detectar el error y por qué U.T es el lector correcto?

Show the step-by-step solution

La comprobación de reconstrucción debe comparar U @ coordinates con v usando np.allclose. La ecuación de coordenadas prevista es

c=UTv,c=U^{\mathsf T}v,

porque su componente jj es el producto punto de la columna uju_j con vv. Después,

Uc=U(UTv)=vUc=U(U^{\mathsf T}v)=v

para una base ortonormal completa. Sustituir UTU^{\mathsf T} por UU calcula una combinación lineal distinta de las filas y columnas; puede seguir produciendo un vector con la forma correcta, pero la comparación de reconstrucción revela que no contiene las coordenadas de productos internos previstas.

Fuentes

  1. Mathematics for Machine Learning book PDF, Section 3.5
  2. NumPy documentation: numpy.inner
  3. NumPy documentation: numpy.linalg.norm
  4. scikit-learn documentation: PCA