Los espacios afines explican el sesgo y las fronteras de decisión

Los pesos de un clasificador determinan la dirección que separa dos clases. El sesgo permite que la recta de separación se sitúe en un lugar distinto del origen. Este pequeño término adicional representa una traslación geométrica: convierte una frontera lineal en una frontera afín y mantiene fija su dirección.

Al terminar, podrás distinguir un subespacio trasladado de uno que pasa por el origen, comprobar si una aplicación es lineal o afín y calcular cómo cambia la frontera de un clasificador sencillo al añadir un sesgo.

Objetivo de aprendizaje: Distinguir conjuntos y transformaciones lineales y afines.

Esta lección continúa la Lección 034, que mostró cómo las aplicaciones lineales conservan las sumas de vectores y la multiplicación por escalares. La sección 2.8 de Mathematics for Machine Learning amplía esa estructura con desplazamientos. Los ejemplos, el cálculo del clasificador, la ilustración y los ejercicios de este artículo son originales.

Una recta puede conservar su dirección y alejarse del origen

Un subespacio vectorial debe contener el vector cero. Por ejemplo, todos los múltiplos de $d=(1,2)$ forman una recta que pasa por el origen:

U = \{t(1,2):t\in\mathbb{R}\}.

Elige un punto $p=(0,-1)$ y súmalo a cada vector de $U$ . El conjunto resultante es una recta paralela que ya no pasa por el origen:

L = p+U = \{p+u:u\in U\} = \{(0,-1)+t(1,2):t\in\mathbb{R}\}.

Las coordenadas paramétricas de esta recta son $(x_1,x_2)=(t,2t-1)$ . Al eliminar $t$ se obtiene $2x_1-x_2=1$ . Su vector de dirección es el mismo que el de $U$ , pero todos los puntos de $L$ se han desplazado en $p$ . En particular, $0\notin L$ : para que la primera coordenada sea cero, debe cumplirse $t=0$ , y entonces la segunda coordenada vale $-1$ . Si el punto elegido $p$ pertenece a $U$ , la traslación $p+U$ coincide con $U$ ; en ese caso especial, el subespacio afín también es un subespacio vectorial.

La misma dirección, con y sin desplazamientoEl sesgo cambia la frontera de 2x₁ − x₂ = 0 a 2x₁ − x₂ = 1. Las rectas siguen siendo paralelas y la frontera trasladada ya no contiene el origen.

Sin sesgo: 2x₁ − x₂ = 0
Sesgo −1: 2x₁ − x₂ = 1

Las dos rectas de la figura tienen el mismo vector de dirección $(1,2),$ ya que es perpendicular al vector normal compartido $(2,-1)$ . La recta discontinua es una traslación de la continua: cambia su posición, pero no su orientación. Las etiquetas y las ecuaciones expresan la misma información sin depender de los colores.

Las combinaciones afines conservan los puntos en un conjunto desplazado

Una forma útil de reconocer la geometría afín es combinar puntos con coeficientes cuya suma sea uno. Si $x=p+u$ e $y=p+v$ pertenecen a $L$ , entonces para cualquier número real $\lambda$ ,

\lambda x+(1-\lambda)y = \lambda(p+u)+(1-\lambda)(p+v) = p+\bigl(\lambda u+(1-\lambda)v\bigr) \in p+U.

El desplazamiento $p$ permanece porque $\lambda+(1-\lambda)=1$ , y la parte entre paréntesis sigue en $U$ porque los subespacios son cerrados bajo combinaciones lineales. Por eso, al interpolar puntos de una recta se permanece en ella, incluso si $\lambda$ queda fuera de $[0,1]$ y se extrapola.

La suma ordinaria tiene un total distinto de coeficientes. Para $x,y\in L$ , $x+y=2p+(u+v)$ , que no tiene por qué pertenecer a $p+U$ . En la recta del ejemplo, si $x=p$ e $y=p$ , entonces $x+y=(0,-2)$ , que no satisface la ecuación $2x_1-x_2=1$ . Así, un subespacio afín conserva las combinaciones afines, mientras que un subespacio vectorial conserva todas las combinaciones lineales y contiene el cero.

El punto de anclaje elegido no es único. Si $q\in U$ , entonces $p+U=(p+q)+U$ , porque sumar un elemento de $U$ solo cambia el punto que se toma como anclaje. El espacio de direcciones es la parte invariante; el punto de apoyo es un representante conveniente.

El sesgo desplaza la frontera de un clasificador

Una aplicación afín combina una aplicación lineal con una traslación fija:

Para dos entradas cualesquiera, la traslación se cancela al calcular la diferencia:

F(x)-F(y)=(Ax+b)-(Ay+b)=A(x-y).

Y para coeficientes que suman uno, la salida conserva su combinación afín:

F\bigl(\lambda x+(1-\lambda)y\bigr) = \lambda F(x)+(1-\lambda)F(y).

Esto difiere de la regla de las aplicaciones lineales para sumas arbitrarias. En particular, $F(0)=b$ , por lo que un sesgo distinto de cero desplaza la entrada cero a una salida distinta de cero.

Sea $x=(x_1,x_2)\in\mathbb{R}^2$ una entrada con dos características. Su puntuación es

s(x)=2x_1-x_2-1.

Asigna la clase positiva cuando $s(x)\ge 0$ y la negativa cuando $s(x)<0$ . La frontera de decisión está donde la puntuación vale cero:

2x_1-x_2-1=0 \quad\Longleftrightarrow\quad 2x_1-x_2=1.

El vector de pesos $w=(2,-1)$ determina la normal de la frontera, mientras que el sesgo $b=-1$ fija el nivel de puntuación $w^\mathsf{T}x=1$ . En dos dimensiones, la frontera es una recta; en espacios de características de mayor dimensión, el conjunto plano correspondiente se llama hiperplano. El punto $p=(0,-1)$ pertenece a ella porque $2(0)-(-1)-1=0$ . Desplazarse en la dirección $d=(1,2)$ no cambia la puntuación:

Sin el sesgo, la frontera sería $2x_1-x_2=0$ y contendría el origen. Al añadir $b$ cambia la intersección, no el vector normal. En términos más generales, una puntuación de clasificador $w^\mathsf{T}x+b$ usa $w$ para orientar un hiperplano y $b$ para fijar su desplazamiento. La documentación de PyTorch describe torch.nn.Linear con esta forma afín, $y=xA^\mathsf{T}+b$ , y activa por defecto un sesgo entrenable (documentación de torch.nn.Linear). Con una salida, la capa puede producir una puntuación de este tipo; una regla posterior, como aplicar un umbral, asigna la clase.

El sesgo desplaza la frontera en paralelo solo mientras los pesos permanecen fijos. Si el entrenamiento cambia $w$ , también cambia la orientación. Un sesgo tampoco permite que una única frontera afín represente todos los patrones de clasificación posibles; solo ajusta el desplazamiento de esta puntuación lineal concreta.

Comprueba la geometría con NumPy

El ejemplo se puede comprobar directamente. El código calcula las puntuaciones en el punto de apoyo y en dos puntos obtenidos al avanzar en la dirección:

import numpy as np

w = np.array([2.0, -1.0])
b = -1.0
p = np.array([0.0, -1.0])
d = np.array([1.0, 2.0])
score = lambda x: w @ x + b

print(score(p))          # 0.0: p is on the boundary
print(score(p + d))      # 0.0: moving along d stays on it
print(score(p + 3 * d))  # 0.0: extrapolating along d also stays on it
print(score(np.zeros(2)))  # -1.0: the origin is off the boundary

Los cálculos usan geometría de vectores columna, mientras que los lotes de tensores suelen almacenar los ejemplos en filas. PyTorch expresa su capa lineal por lotes como $xA^\mathsf{T}+b$ ; la transposición corresponde a esa convención orientada por filas. Con el sesgo predeterminado, la operación es afín. Al establecer bias=False, la aplicación de la capa pasa a ser lineal, aunque una activación no lineal posterior sigue siendo una operación separada.

Comprueba lo que has entendido

Question 1

Para U = span((1, 2)) y p = (0, −1), escribe p + U en forma paramétrica e indica si contiene el origen.