La independencia lineal elimina redundancias en las características de IA

Un modelo puede recibir dos columnas de características que parecen entradas distintas, pero siempre suben y bajan juntas. Si una columna es un múltiplo exacto de la otra, el modelo ha recibido dos nombres para una misma dirección. La predicción puede seguir estando bien definida, aunque los pesos individuales que la producen no lo estén de forma única.

La independencia lineal ofrece una prueba precisa de esa redundancia. Al terminar esta lección, podrás encontrar una combinación de coeficientes no nulos que sume los vectores y dé cero, explicar por qué revela una dirección repetida y revisar una matriz pequeña de características de IA con NumPy.

La lección 17 presentó las combinaciones lineales como sumas ponderadas. La lección 28 usó esas combinaciones para describir características restringidas. La sección 2.5 de Mathematics for Machine Learning, el texto oficial, usa la misma operación para decidir si una colección de vectores contiene una dirección redundante. El sitio complementario de sus autores identifica el PDF enlazado como la descarga actual del libro. La matriz de características, los cálculos, la visualización, el código y los ejercicios de aquí son originales.

Busca una combinación no nula que se cancele

Supongamos que tenemos vectores $\boldsymbol{x}_1,\ldots,\boldsymbol{x}_k$ en un mismo espacio vectorial. Nos preguntamos si algunos coeficientes pueden combinarlos para obtener el vector cero:

$$\lambda_1\boldsymbol{x}_1+\cdots+\lambda_k\boldsymbol{x}_k=\boldsymbol{0}.$$

Los coeficientes todos iguales a cero siempre funcionan. La pregunta útil es si funciona alguna otra elección.

El resultado cero, por sí solo, no demuestra nada, porque elegir todos los coeficientes iguales a cero siempre lo produce. Dependencia significa que existe una combinación no trivial: al menos un coeficiente no es cero y, aun así, las direcciones ponderadas se cancelan. Entonces se puede expresar un vector de la colección usando los demás, de modo que la colección contiene una dirección lineal repetida.

Desarrolla la cancelación paso a paso

Tomemos dos direcciones de características:

$$\boldsymbol{u}= \begin{bmatrix}1\\2\end{bmatrix}, \qquad \boldsymbol{v}= \begin{bmatrix}2\\4\end{bmatrix}.$$

El segundo vector duplica al primero: $\boldsymbol{v}=2\boldsymbol{u}$. Elige los coeficientes $2$ y $-1$:

$$2\boldsymbol{u}-\boldsymbol{v} =2\begin{bmatrix}1\\2\end{bmatrix} -\begin{bmatrix}2\\4\end{bmatrix} =\begin{bmatrix}2-2\\4-4\end{bmatrix} =\begin{bmatrix}0\\0\end{bmatrix}.$$

Es una relación no trivial porque los dos coeficientes no son cero a la vez. También permite reescribir directamente: $\boldsymbol{v}=2\boldsymbol{u}$. Se puede eliminar cualquiera de los vectores sin cambiar el conjunto de direcciones alcanzables mediante combinaciones lineales.

La búsqueda de coeficientes de abajo usa $\boldsymbol{u}=(1,2)$ y, en el caso dependiente, $\boldsymbol{v}=(2,4)$. Mueve los coeficientes para ver cómo se suman los vectores escalados. Cambia el segundo vector por $(0,1)$ para compararlo con un par independiente. El resultado en texto y la tabla repiten las coordenadas representadas, así que el cálculo se puede consultar sin interpretar colores ni formas.

Elige el par de vectores

Par colineal: u = (1, 2), v = (2, 4)Par linealmente independiente: u = (1, 2), v = (0, 1)

Ajusta los coeficientes

Usa las teclas de flecha cuando el control deslizante tenga el foco. Cada paso cambia el coeficiente en 0,25.

Coeficiente a del vector u

+1

Coeficiente b del vector v

-0,5

Para a = +1 y b = -0,5, a u + b v = (0, 0). Esta es una combinación no trivial igual a cero, por lo que el par es linealmente dependiente.

• contribución a u
• contribución b v
• suma a u + b v

Valores actuales de la búsqueda de coeficientes

Magnitud	Coordenadas o valor
Coeficiente a	+1
Coeficiente b	-0,5
Vector u	(+1, +2)
Vector v	(+2, +4)
a u	(+1, +2)
b v	(-1, -2)
Suma a u + b v	(0, 0) — vector cero

Los controles solo buscan coeficientes entre −1 y 1. Una cancelación representada demuestra dependencia; una búsqueda finita por sí sola no puede demostrar independencia.

La comparación independiente concreta la definición. Sean $\boldsymbol{p}=(1,2)$ y $\boldsymbol{q}=(0,1)$. Si $a\boldsymbol{p}+b\boldsymbol{q}=\boldsymbol{0}$, entonces

$$a\begin{bmatrix}1\\2\end{bmatrix} +b\begin{bmatrix}0\\1\end{bmatrix} =\begin{bmatrix}a\\2a+b\end{bmatrix} =\begin{bmatrix}0\\0\end{bmatrix}.$$

La primera coordenada obliga a que $a=0$. Al sustituirlo en la segunda se obtiene $b=0$. Como solo funciona el par trivial de coeficientes, el par de vectores es independiente. Esta álgebra constituye la demostración; la cuadrícula interactiva permite explorar el efecto de distintos coeficientes.

Encuentra direcciones de características repetidas en un modelo

Una matriz de diseño guarda los ejemplos en las filas y las características en las columnas. Supongamos que un modelo con tres ejemplos recibe estas columnas:

$$\boldsymbol{x}_1= \begin{bmatrix}1\\2\\3\end{bmatrix}, \qquad \boldsymbol{x}_2= \begin{bmatrix}2\\4\\6\end{bmatrix} =2\boldsymbol{x}_1, \qquad X= \begin{bmatrix} 1&2\\ 2&4\\ 3&6 \end{bmatrix}.$$

Las columnas son dependientes porque $-2\boldsymbol{x}_1+\boldsymbol{x}_2=\boldsymbol{0}$. Para un modelo lineal con pesos $w_1,w_2$, las predicciones son

$$X\begin{bmatrix}w_1\\w_2\end{bmatrix} =\boldsymbol{x}_1w_1+\boldsymbol{x}_2w_2 =\boldsymbol{x}_1(w_1+2w_2).$$

Solo el peso combinado $w_1+2w_2$ afecta a estas predicciones. Por ejemplo, tanto los pesos $(1,0)$ como $(-1,1)$ hacen que esa cantidad sea $1$, así que ambos producen $(1,2,3)^\mathsf{T}$. La predicción es la misma, pero estos datos no determinan de forma única los pesos individuales. Esta es una manera concreta en que la redundancia de características puede complicar la interpretación.

matrix_rank de NumPy informa de cuántos valores singulares superan su tolerancia. Esto permite comprobar de forma práctica el rango de matrices de coma flotante:

import numpy as np

X = np.array([[1., 2.],
              [2., 4.],
              [3., 6.]])

print(X @ np.array([-2., 1.]))  # [0. 0. 0.]
print(np.linalg.matrix_rank(X)) # 1

La primera línea comprueba la relación expuesta; la segunda informa de una dirección independiente de columna. La documentación de matrix_rank de NumPy explica que el cálculo usa valores singulares y una tolerancia. El redondeo en coma flotante puede hacer que un valor singular exactamente cero aparezca como un número diminuto distinto de cero, por lo que el software aplica un umbral.

Si dos columnas medidas son casi múltiplos, pero no exactamente, hay que tratar con cuidado tanto la prueba matemática como la decisión numérica sobre el rango. NumPy señala que su tolerancia predeterminada puede considerar deficientes en rango las columnas suficientemente próximas, y que la incertidumbre de medida puede justificar otro umbral. Para un ajuste por mínimos cuadrados, la documentación de mínimos cuadrados de NumPy también describe la determinación del rango mediante un corte de valores singulares y devuelve una solución de norma mínima cuando hay varias soluciones que minimizan el error. Por tanto, el rango numérico es un juicio sobre los datos y el cálculo basado en una tolerancia; no afirma que dos características medidas sean idénticas de forma simbólica.

Las comprobaciones rápidas más útiles se desprenden de la definición. Un vector cero hace que la colección sea dependiente. Un múltiplo escalar no nulo duplica una dirección. En $\mathbb{R}^d$, cualquier colección con más de $d$ vectores es dependiente, porque solo hay $d$ direcciones independientes disponibles. Los vectores pueden ser distintos y seguir siendo dependientes, como muestran $(1,2)$ y $(2,4)$.

Para un ejemplo pequeño y exacto, resuelve a mano la ecuación de coeficientes. Para una matriz de datos mayor o medidas decimales, examina el rango numérico e indica la tolerancia o incertidumbre que guía la interpretación. Una vez identificadas las direcciones independientes, la lección siguiente pregunta qué pueden expresar todas sus combinaciones lineales: la envolvente lineal.

Comprueba lo que has aprendido

Comprueba lo que has aprendido

Question 1

En la definición de independencia lineal, ¿por qué exigimos que solo los coeficientes todos iguales a cero produzcan el vector cero?

Show the step-by-step solution

Los coeficientes todos iguales a cero siempre dan el vector cero, sean cuales sean los vectores de entrada. La independencia indica que no existe otra combinación no trivial que los cancele; la dependencia significa que sí existe una cancelación con al menos un coeficiente no nulo.

Question 2

Sean u = (1, 3) y v = (2, 6). Da una relación no trivial de coeficientes que demuestre que el par es dependiente.

Show the step-by-step solution

Como $v=2u$, elige los coeficientes $2$ y $-1$. Entonces $2u-v=2(1,3)-(2,6)=(2,6)-(2,6)=(0,0)$. Los dos coeficientes no son cero a la vez, así que el par es dependiente.

Question 3

Demuestra que p = (1, 2) y q = (0, 1) son linealmente independientes.

Show the step-by-step solution

Plantea $ap+bq=(0,0)$. Por coordenadas, queda $(a,2a+b)=(0,0)$. La primera coordenada da $a=0$; entonces la segunda da $b=0$. Solo funciona el par trivial de coeficientes, que es exactamente la condición de independencia.

Question 4

¿Es independiente la colección que contiene (0, 0) y (1, 0)? Explícalo con coeficientes.

Show the step-by-step solution

Es dependiente. Asigna el coeficiente $1$ a $(0,0)$ y el coeficiente $0$ a $(1,0)$. La combinación es $(0,0)$ y el par de coeficientes $(1,0)$ no es trivial. Por tanto, un vector cero hace dependiente a toda la colección.

Question 5

Una columna de características x₂ es el doble de x₁. ¿Qué relación de coeficientes demuestra que las columnas son dependientes?

Show the step-by-step solution

La ecuación $x_2=2x_1$ se reescribe como $-2x_1+x_2=0$. Los coeficientes $-2$ y $1$ no son cero a la vez; por tanto, es una combinación no trivial igual a cero y las columnas son dependientes.

Question 6

Para X = [[1, 2], [2, 4], [3, 6]], ¿cuál es su rango y qué indica sobre sus dos columnas?

Show the step-by-step solution

La segunda columna es el doble de la primera, así que la primera aporta una dirección independiente y la segunda no añade ninguna. El rango es $1$. De forma equivalente, $X(-2,1)^\mathsf{T}=(0,0,0)^\mathsf{T}$ es una relación no trivial de coeficientes.

Question 7

¿Por qué cualesquiera tres vectores de ℝ² son linealmente dependientes, aunque no haya dos iguales?

Show the step-by-step solution

$\mathbb{R}^2$ solo tiene dos direcciones de coordenadas independientes. Una colección de tres vectores supera la dimensión, por lo que al menos uno debe poder expresarse como combinación lineal de los demás. No hace falta que dos vectores sean iguales para que haya dependencia.

Question 8

NumPy informa del rango de una matriz usando una tolerancia. ¿Por qué puede tratarse como redundante una característica casi duplicada aunque sus valores no sean múltiplos exactos?

Show the step-by-step solution

Los datos de coma flotante y el ruido de medida hacen que exigir igualdad exacta sea demasiado estricto en muchas comprobaciones prácticas. El cálculo del rango cuenta los valores singulares que superan un umbral; si una dirección es suficientemente pequeña respecto a la tolerancia elegida, la matriz se considera deficiente en rango. El umbral debe reflejar la precisión numérica y, cuando se conozca, la incertidumbre de medida.

Fuentes

1. Mathematics for Machine Learning companion website
2. Mathematics for Machine Learning book PDF
3. NumPy documentation: numpy.linalg.matrix_rank
4. NumPy documentation: numpy.linalg.lstsq