Curso de Matemáticas para IA · Lección 52 de 180
Mínimos cuadrados: un problema de proyección
Deriva el ajuste lineal por mínimos cuadrados como una proyección ortogonal, verifica los residuos con NumPy y descubre por qué resolver las ecuaciones normales es mejor que formar una inversa explícita.
Supón que un modelo solo puede dibujar una línea recta a través de un conjunto de observaciones. ¿Qué línea produce las predicciones más cercanas y qué significa «más cercana» cuando los objetivos se almacenan como un vector y no como puntos en un gráfico?
Los mínimos cuadrados ordinarios responden a ambas preguntas con geometría. Eligen el vector de predicciones dentro del espacio columna de la matriz de diseño que está más cerca del vector objetivo. La diferencia entre esos dos vectores es el residuo, y el residuo es perpendicular a cada dirección de característica utilizada por el ajuste.
Al terminar esta lección, podrás escribir un ajuste lineal como un problema matricial, derivar las ecuaciones normales a partir de la ortogonalidad del residuo, calcular un ajuste pequeño a mano, verificarlo con NumPy y reconocer cuándo el cálculo está limitado por el rango o por la elección de características del modelo.
Resultado de aprendizaje: Derivar la geometría de las ecuaciones normales sin depender de una inversión explícita.
Esta lección conecta la Lección 025: Resolver numéricamente sin inversas explícitas, donde un sistema lineal se convirtió en un problema para un solucionador y no en una inversa matricial, con la Lección 050: La proyección encuentra el punto más cercano y la Lección 051: Las matrices de proyección transforman conjuntos de datos completos. La sección 3.8 del libro oficial Mathematics for Machine Learning proporciona la base curricular. Los datos, los cálculos, la visualización, el laboratorio de NumPy, la conexión con la IA y las evaluaciones son originales.
Un ajuste lineal se convierte en un subespacio de vectores de predicción
Comienza con observaciones. La observación tiene una característica de entrada y un objetivo numérico . Una línea con intercepto predice
donde es el intercepto y es la pendiente. El sombrero de significa «predicción», no un nuevo objetivo medido.
Para hacer visible la geometría, coloca las observaciones en una matriz de diseño:
La primera columna de es una columna de unos. Da al modelo un desplazamiento libre; sin ella, la línea tendría que pasar por el origen. La multiplicación matricial produce todo el vector de predicciones en una sola operación:
Así, toda predicción lineal posible está en el espacio generado por las dos columnas de . Ese espacio es un subespacio de , el espacio de observaciones. Las coordenadas de un punto en este espacio corresponden a las observaciones, no a los dos parámetros del modelo.
Esta es una afirmación sobre geometría euclídea de dimensión finita. No supone que los residuos sean gaussianos, independientes ni siquiera «ruido». Esas suposiciones pueden ser importantes en un análisis estadístico, pero el resultado de proyección procede de la distancia de error cuadrático elegida y de las columnas de características.
Los residuos perpendiculares producen las ecuaciones normales
Si es el punto más cercano de , el residuo debe ser perpendicular a toda dirección de ese subespacio. En particular, debe ser perpendicular a cada columna de . Al escribir juntos todos esos productos escalares obtenemos
Sustituye :
Estas son las ecuaciones normales. El lado izquierdo es una matriz multiplicada por un vector de coeficientes de dos entradas, y el lado derecho es un vector de dos entradas. No son un hechizo estadístico; son la forma algebraica de la condición de ángulo recto.
¿Por qué la perpendicularidad da el punto más cercano y no simplemente un punto que pasa por casualidad una prueba de productos escalares? Toma cualquier otro vector de coeficientes y compara su predicción con :
El primer término es perpendicular al segundo porque . Por tanto, el teorema de Pitágoras da
Ninguna predicción dentro del mismo espacio columna puede mejorar la predicción ajustada. Si las dos columnas de son linealmente independientes, los coeficientes también son únicos. Si son dependientes, la predicción proyectada puede seguir estando bien definida aunque varios vectores de coeficientes la describan.
Un ajuste lineal de cuatro observaciones, calculado a mano
Usa cuatro observaciones con una característica:
Los puntos no están exactamente en una línea, lo que hace visible la geometría de los residuos. Con la columna de intercepto incluida,
La primera comprobación de ortogonalidad tiene una interpretación útil: como el modelo contiene un intercepto, los residuos suman cero. La segunda indica que el residuo ya no tiene alineación lineal con los valores de la característica. Ninguna de las dos afirmaciones significa que cada residuo sea pequeño ni que la línea vaya a generalizar a nuevas entradas.
Vista coordenada por coordenada
- objetivo y
- predicción ŷ
- residuo r = y − ŷ
Descomposición del espacio de observaciones
| i | xᵢ | yᵢ | ŷᵢ | rᵢ |
|---|---|---|---|---|
| 0 | 0 | 1.0 | 0.9 | +0.1 |
| 1 | 1 | 2.0 | 1.8 | +0.2 |
| 2 | 2 | 2.0 | 2.7 | -0.7 |
| 3 | 3 | 4.0 | 3.6 | +0.4 |
Ortogonalidad: Xᵀr = [0, 0]
Longitud residual al cuadrado: ‖r‖₂² = 0.70
El panel derecho usa coordenadas ortogonales esquemáticas para vectores en ℝ⁴. La tabla mantiene visibles los cuatro componentes exactos, de modo que la visualización no pretende que un dibujo bidimensional sustituya al espacio completo de observaciones.
La misma proyección en NumPy ejecutable
El cálculo manual se traduce directamente en un programa pequeño de NumPy. Con una muestra por fila, tiene forma y tiene forma , por lo que X @ beta tiene forma $(m,). La [documentación de matmul`](https://numpy.org/doc/stable/reference/generated/numpy.matmul.html) de NumPy describe este producto matricial según las formas.
import numpy as np
x = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])
# A column of ones gives the line an intercept.
X = np.column_stack((np.ones_like(x), x))
normal_matrix = X.T @ X
normal_rhs = X.T @ y
# Solve (X.T @ X) @ beta = X.T @ y without forming an inverse.
beta = np.linalg.solve(normal_matrix, normal_rhs)
y_hat = X @ beta
residual = y - y_hat
print("X.T @ X =\n", normal_matrix)
print("X.T @ y =", normal_rhs)
print("beta =", beta)
print("y_hat =", y_hat)
print("residual =", residual)
print("X.T @ residual =", X.T @ residual)
print("squared residual length =", np.linalg.norm(residual) ** 2)
assert np.allclose(X.T @ residual, np.zeros(X.shape[1]))
La salida es:
X.T @ X =
[[ 4. 6.]
[ 6. 14.]]
X.T @ y = [ 9. 18.]
beta = [0.9 0.9]
y_hat = [0.9 1.8 2.7 3.6]
residual = [ 0.1 0.2 -0.7 0.4]
X.T @ residual = [0. 0.]
squared residual length = 0.7
numpy.linalg.solve resuelve un sistema lineal cuadrado para el vector de coeficientes. En este ejemplo, es cuadrada y no singular, por lo que es un ejemplo didáctico adecuado. assert usa numpy.allclose porque la aritmética de coma flotante puede dejar un valor diminuto donde las matemáticas exactas dicen cero. El tamaño del error utiliza numpy.linalg.norm, que calcula la longitud euclídea cuando se usa su norma vectorial predeterminada.
¿Por qué no multiplicar por una inversa explícita?
Para este ejemplo pequeño, el siguiente diagnóstico produce el mismo vector de coeficientes dentro de la tolerancia de coma flotante:
beta_via_inverse = np.linalg.inv(normal_matrix) @ normal_rhs
print(np.allclose(beta, beta_via_inverse)) # True for this toy system
Esa coincidencia no convierte la inversa en la implementación preferida. Una inversa hace más trabajo que resolver para un único lado derecho, y formarla puede exponer el cálculo a errores numéricos evitables. Es la misma lección de implementación que en la Lección 025: expresa el sistema que necesitas y usa un solucionador diseñado para ese sistema.
Qué dice la geometría sobre un modelo de IA
En una línea base de regresión pequeña, las columnas de son las direcciones de características que el modelo puede combinar. El vector objetivo contiene un resultado numérico deseado por cada ejemplo de entrenamiento. Los mínimos cuadrados encuentran el vector de resultados más cercano que esas direcciones de características pueden expresar. El residuo es la parte del objetivo de entrenamiento que este conjunto de características deja fuera de su espacio generado.
Esta perspectiva concreta dos hábitos de evaluación:
- Un residuo de entrenamiento pequeño significa que el espacio de características elegido puede reconstruir de cerca los objetivos observados con error cuadrático. Por sí solo no mide el rendimiento en ejemplos nuevos.
- Un residuo grande puede significar resultados ruidosos, una característica ausente, un valor atípico o una línea demasiado restrictiva para la relación. La geometría identifica lo que el modelo actual no puede expresar; no identifica la causa.
El intercepto también codifica una decisión de modelado. Con una columna de unos, el ajuste puede desplazarse verticalmente y los residuos suman cero. Eliminar esa columna fuerza al vector de predicciones a estar en el espacio generado solo por , lo que puede ser adecuado para una ley física que pasa por el origen, pero es una restricción adicional para la mayoría de los conjuntos de datos.
Límites que cambian el cálculo
Ortogonal no significa cero. El residuo es perpendicular a las columnas de características, pero no necesariamente está ausente. En el ejemplo trabajado, el residuo en es , aunque el vector de residuos completo sea ortogonal a ambas columnas. Una línea puede ser el modelo disponible más cercano y aun así equivocarse por una cantidad distinta de cero en cada observación.
La deficiencia de rango cambia la unicidad de los coeficientes. Si la segunda columna de duplicara la columna de intercepto —por ejemplo, si todos los fueran iguales—, las columnas no proporcionarían dos direcciones independientes. La matriz sería singular y np.linalg.solve rechazaría el sistema normal. El subespacio de predicciones seguiría existiendo, pero la separación entre intercepto y pendiente no sería única. Las lecciones posteriores estudiarán otros solucionadores; añadir un número diminuto arbitrario a la diagonal definiría un problema regularizado diferente en vez de reparar la geometría original.
Mal condicionada no significa singular. Las columnas casi duplicadas pueden hacer que sea extremadamente sensible a pequeños cambios en los datos. Un solucionador puede devolver coeficientes aunque estos sigan siendo inestables. Es una señal para inspeccionar las relaciones entre características y el comportamiento de los residuos, no una razón para confiar ciegamente en un número que parece plausible.
El intercepto no es automático. Si el modelo no tiene intercepto intencionadamente, las ecuaciones normales siguen imponiendo que el residuo sea ortogonal a las columnas de características disponibles, pero no hay una columna de unos y por tanto no hay motivo para que los residuos sumen cero. Cambiar las columnas cambia el espacio de proyección y la pregunta que se responde.
Por tanto, los mínimos cuadrados son más específicos que «dibujar la mejor línea». Son una proyección sobre el conjunto de predicciones que la matriz de diseño puede expresar, usando el error euclídeo cuadrático como distancia. Las próximas lecciones de regresión pueden desarrollar esta geometría, pero no deben convertirla silenciosamente en la afirmación de que toda relación objetivo es lineal o de que todo residuo es ruido aleatorio.
Comprueba tu comprensión
Pregunta 1
Para m observaciones y una característica de entrada con intercepto, ¿cuáles son las formas de X, β, y y Xβ?
Mostrar la solución paso a paso
La matriz de diseño tiene una fila por observación y dos columnas: la columna de intercepto formada por unos y la columna de características. Por tanto, . El vector de coeficientes contiene y , así que . El vector objetivo tiene una entrada por observación, por lo que . La multiplicación matricial produce
así que es un vector de predicciones de entradas. Los dos parámetros describen las coordenadas utilizadas para construir un punto en el espacio de observaciones de dimensión .
Pregunta 2
Para X = [[1, 0], [1, 1], [1, 2]] y y = [1, 2, 2], calcula XᵀX y Xᵀy.
Mostrar la solución paso a paso
Calcula los productos internos de las columnas. La primera columna es y la segunda es :
Ahora correlaciona cada columna con :
Estas son la matriz y la parte derecha que utilizan las ecuaciones normales.
Pregunta 3
Usando el ejemplo calculado en la lección, verifica a mano que r = [0.1, 0.2, −0.7, 0.4] es ortogonal a las dos columnas de X.
Mostrar la solución paso a paso
La primera columna es el vector de unos. Su producto escalar con es
La segunda columna es . Su producto escalar es
Ambos productos escalares son cero, así que al apilarlos se obtiene . El residuo también es ortogonal a toda combinación lineal de las dos columnas.
Pregunta 4
¿Por qué Xᵀr = 0 implica que la predicción ajustada está al menos tan cerca de y como cualquier otra predicción Xβ?
Mostrar la solución paso a paso
Sea el coeficiente ajustado y cualquier alternativa. Reescribe el residuo alternativo como
El primer término es . El segundo pertenece a . Como , es perpendicular al segundo término. La longitud al cuadrado se separa por Pitágoras:
El término adicional no puede ser negativo, así que ninguna otra predicción del espacio columna tiene una distancia cuadrática menor a .
Pregunta 5
Un ingeniero afirma: «Un ajuste por mínimos cuadrados tiene residuos todos iguales a cero porque el residuo es ortogonal». ¿Qué tiene de incorrecta la afirmación?
Mostrar la solución paso a paso
La ortogonalidad significa que un producto escalar es cero; no significa que el propio vector de residuos sea cero. En el ejemplo de la lección,
tiene entradas distintas de cero, pero sus productos escalares con la columna de unos y la columna de características se anulan. El vector cero solo aparecería cuando ya estuviera en , es decir, cuando el modelo lineal disponible pudiera reproducir exactamente los objetivos.
Pregunta 6
¿Qué cambia si se elimina de X la columna de unos del intercepto?
Mostrar la solución paso a paso
Sin la columna de unos, el modelo pasa a ser , una línea forzada a pasar por el origen. El espacio columna se convierte en en lugar del espacio generado por el vector constante y . La ecuación normal sigue exigiendo que el residuo sea ortogonal a la columna de características restante, pero ya no hay una columna de unos que imponga
Por tanto, los residuos ya no tienen que sumar cero. Es una restricción de modelado, no un cambio de formato inocuo.
Pregunta 7
¿Por qué np.linalg.solve puede fallar cuando dos columnas de X son duplicadas, aunque siga existiendo una predicción más cercana?
Mostrar la solución paso a paso
Las columnas duplicadas no crean dos direcciones de características independientes. Si , las columnas solo generan una dirección y es singular. Una matriz singular no tiene una solución de coeficientes única para las ecuaciones normales, así que np.linalg.solve rechaza correctamente el sistema en lugar de inventar una separación única entre los dos coeficientes.
La proyección de sobre el espacio columna unidimensional aún puede ser única. Lo ambiguo es la representación mediante coordenadas: muchos pares pueden sumarse para producir la misma predicción constante. Hace falta otro algoritmo o un problema regularizado explícitamente para elegir entre esas representaciones.
Pregunta 8
Un modelo tiene un residuo de entrenamiento diminuto después de ajustar muchas características. ¿Por qué no basta como evidencia de que predecirá bien nuevos ejemplos de IA?
Mostrar la solución paso a paso
Los mínimos cuadrados solo encuentran el vector objetivo más cercano dentro del espacio generado por la matriz de diseño de entrenamiento. Añadir características puede hacer que ese espacio sea lo bastante expresivo como para acercarse a los objetivos observados, reduciendo el error de entrenamiento. Los ejemplos nuevos pueden tener valores de características o comportamientos objetivo diferentes, y sus objetivos no formaron parte de la proyección calculada.
Para evaluar la generalización, conserva un conjunto de evaluación separado o utiliza un diseño apropiado de validación cruzada y mide las predicciones en ejemplos que no se usaron para ajustar . El residuo de entrenamiento sigue siendo útil para diagnosticar el ajuste, pero no garantiza nada sobre las observaciones futuras.
El hábito práctico es sencillo: escribe el espacio de predicciones antes de confiar en el vector de coeficientes. Los mínimos cuadrados dan el punto más cercano de ese espacio; el residuo te dice exactamente qué parte del objetivo observado sigue fuera del espacio generado que eligió el modelo.