Span: las predicciones que puede alcanzar un modelo lineal

Una regla de predicción lineal puede ajustar sus pesos tanto como quiera y aun así pasar por alto un patrón que sus características no pueden expresar. El límite se ve en todos los ejemplos de entrenamiento: cada vector de predicciones es una suma ponderada de las columnas de características. Esas sumas ponderadas forman un conjunto llamado span.

Al terminar esta lección, podrás describir ese conjunto alcanzable, calcular una predicción dentro de él y comprobar si el modelo podría producir una serie de valores objetivo propuestos.

Objetivo de aprendizaje: identificar el conjunto de vectores alcanzables mediante combinaciones lineales.

Lección 29: La independencia lineal elimina la redundancia pregunta si las direcciones de las características aportan información distinta. Aquí planteamos la siguiente pregunta: ¿qué combinaciones de esas direcciones puede alcanzar realmente un modelo? La sección 2.5 del libro oficial Mathematics for Machine Learning introduce las combinaciones lineales y la independencia lineal, conceptos necesarios para definir el span en esta lección. El ejemplo de predicción, los cálculos, el código, la ilustración y las evaluaciones son originales.

Las salidas de un modelo viven en un conjunto alcanzable

Supongamos que un conjunto de datos contiene $n$ ejemplos y $p$ características numéricas. Coloca los valores de la característica $j$ para los $n$ ejemplos en un vector columna $\boldsymbol{x}_j\in\mathbb{R}^n$ . La matriz de diseño $X\in\mathbb{R}^{n\times p}$ apila esas columnas. Para un vector de pesos $\boldsymbol{w}=(w_1,\ldots,w_p)^\mathsf{T}\in\mathbb{R}^p$ , un modelo lineal sin término independiente predice

\hat{\boldsymbol{y}}=X\boldsymbol{w} =w_1\boldsymbol{x}_1+\cdots+w_p\boldsymbol{x}_p.

El producto de matriz por vector realiza algo conceptualmente importante: mezcla las columnas de características mediante los pesos del modelo. Los coeficientes pueden variar, pero las únicas direcciones disponibles son las columnas que ya están en $X$ .

La última frase expresa la capacidad del modelo para este conjunto de datos finito: el span contiene exactamente los vectores de predicción que pueden producir los pesos lineales sin restricciones. No afirma que el modelo pueda realizar cualquier asignación posible con entradas futuras. Eso depende de la regla de características, sus parámetros y las entradas que recibirá.

Calcular las predicciones alcanzables

Consideremos tres ejemplos y dos características:

X=\begin{bmatrix} 1&0\\ 0&1\\ 1&1 \end{bmatrix}, \qquad \boldsymbol{x}_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \quad \boldsymbol{x}_2=\begin{bmatrix}0\\1\\1\end{bmatrix}.

Cada par de pesos $(a,b)$ produce

a\boldsymbol{x}_1+b\boldsymbol{x}_2 =a\begin{bmatrix}1\\0\\1\end{bmatrix} +b\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}a\\b\\a+b\end{bmatrix}.

Por tanto, todo vector de predicción alcanzable tiene la forma $[a,b,a+b]^\mathsf{T}$ . Su tercera coordenada debe ser igual a la suma de las dos primeras. Se trata de un plano que pasa por el origen dentro de $\mathbb{R}^3$ : se registran tres coordenadas de salida, pero las dos direcciones de las características solo pueden llenar ese plano.

Elige los pesos y luego comprueba un objetivo

Tomemos los pesos $\boldsymbol{w}=[2,-1]^\mathsf{T}$ . Multiplica cada columna de características por su peso y suma los resultados:

X\boldsymbol{w} =2\begin{bmatrix}1\\0\\1\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\0\\2\end{bmatrix} -\begin{bmatrix}0\\1\\1\end{bmatrix} =\begin{bmatrix}2\\-1\\1\end{bmatrix}.

El resultado satisface la regla del plano: $1=2+(-1)$ . Ahora veamos si se puede producir el objetivo $\boldsymbol{y}=[1,2,4]^\mathsf{T}$ . Sus dos primeras entradas obligarían a usar $a=1$ y $b=2$ . Esos pesos darían $a+b=3$ en la tercera entrada, no $4$ . Con las dos características dadas, ningún par de pesos puede producir este objetivo.

El fallo se debe a un límite de las características, no a que no hayamos buscado el tiempo suficiente los coeficientes adecuados. Un optimizador puede elegir otros pesos, pero no puede salir del espacio columna sin cambiar las direcciones de las características o la forma del modelo.

Espacio de predicciones

Las columnas de características delimitan todas las predicciones

Con dos columnas de características, el modelo puede alcanzar el plano que estas abarcan. El vector objetivo queda fuera porque su tercer valor no es la suma de los dos primeros.

El plano representa todos los vectores [a, b, a + b]. El fragmento finito del plano es solo una ventana de visualización; el span se extiende sin límite en todas las direcciones del plano. El objetivo discontinuo incumple la regla de las coordenadas.

Combinaciones de características y su pertenencia al espacio columna
Vector	Coordenadas	Comprobación del span
Columna de características x₁	[1, 0, 1]	Dentro: tercera = primera + segunda
Columna de características x₂	[0, 1, 1]	Dentro: tercera = primera + segunda
Predicción para w = [2, −1]	[2, −1, 1]	Dentro: tercera = primera + segunda
Objetivo propuesto	[1, 2, 4]	Fuera: 4 ≠ 1 + 2

El diagrama muestra el mismo álgebra desde el punto de vista del modelo. Las flechas continuas de las características generan el plano y cualquier combinación ponderada de ellas permanece en él. El objetivo discontinuo queda fuera. La imagen ayuda a intuir la posición; la ecuación $y_3=y_1+y_2$ es la comprobación exacta.

Comprobar el límite con un cálculo breve en NumPy

El cálculo del modelo sigue directamente la definición. NumPy matmul implementa el producto de matriz por vector, así que multiplicar $X$ por los pesos da el vector de predicciones:

import numpy as np

X = np.array([[1, 0], [0, 1], [1, 1]])
weights = np.array([2, -1])
prediction = X @ weights
target = np.array([1, 2, 4])

print(prediction)  # [ 2 -1  1]
print(prediction[2] == prediction[0] + prediction[1])  # True
print(target[2] == target[0] + target[1])  # False

La primera línea confirma la predicción calculada. La segunda comprueba la regla que deben satisfacer todos los vectores de este espacio columna. La tercera descarta el objetivo propuesto mediante la misma relación exacta. Es una comprobación estructural y no depende de cómo se hayan entrenado los pesos.

Esta perspectiva también explica una restricción habitual de la regresión lineal. La guía de modelos lineales de scikit-learn define una predicción como una suma ponderada de características, con un término independiente opcional. El procedimiento de ajuste puede intentar reducir los errores, pero en los ejemplos de esta lección un modelo sin término independiente solo puede producir las predicciones de $\operatorname{Col}(X)$ . Si todas las columnas de características son redundantes, el span puede no crecer al añadir otra; si una columna nueva apunta en una dirección realmente distinta, puede ampliar el conjunto alcanzable.

El span describe las direcciones disponibles

El span incluye cualquier valor real para los coeficientes, también pesos cero y negativos. Esto importa: si solo consideráramos combinaciones positivas, describiríamos un conjunto más pequeño, a menudo un cono, en lugar del span completo. La regresión lineal estándar sin restricciones permite coeficientes positivos o negativos. Las restricciones pueden limitar los coeficientes permitidos, mientras que la regularización cambia qué pesos prefiere el objetivo de entrenamiento; ninguna de las dos cambia el espacio columna definido por la propia matriz de características.

El número de columnas de características no indica por sí solo cuántas direcciones independientes aportan. Dos columnas pueden apuntar a lo largo de la misma recta y, en ese caso, su span sigue teniendo una dimensión. El siguiente paso consiste en determinar cuándo un vector nuevo añade una dirección independiente y puede ampliar el span. Esa es la pregunta que aborda la Lección 29: La independencia lineal elimina la redundancia.

El hábito práctico es sencillo: cuando un modelo pasa por alto un patrón repetidamente, pregúntate si sus características pueden expresar la salida necesaria antes de culpar al optimizador. El span te indica qué vectores de predicción pueden siquiera plantearse.