Álgebra lineal en una red neuronal pequeña

Una red neuronal puede parecer una sucesión de operaciones con matrices, pero cada paso cambia el significado de los números. Seguir una red pequeña desde la entrada hasta la salida permite ver el proceso completo: las dimensiones de las matrices determinan qué transformaciones pueden conectarse, los sesgos trasladan esas transformaciones, el rango limita las direcciones independientes y una función de activación cambia lo que puede expresar la composición.

Al terminar, podrás seguir cada dimensión, calcular a mano o con NumPy una red de dos capas y explicar en qué punto afectan al resultado el sesgo, el rango y la activación.

Esta lección reúne tres herramientas de lecciones anteriores: resolver sistemas lineales sin invertir explícitamente la matriz, usar el núcleo y la imagen para describir direcciones perdidas y alcanzables, y usar un sesgo para trasladar una transformación afín. El capítulo 2 de Mathematics for Machine Learning aporta el álgebra lineal necesaria para esta síntesis. La red, los números, el código, la visualización y los ejercicios que siguen son originales.

Sigue las dimensiones de dos capas afines

Aquí, «red de dos capas» significa dos transformaciones afines aprendidas, con una activación oculta entre ambas. Mantendremos la salida como dos puntuaciones; no aplicaremos ninguna conversión a probabilidades ni una decisión de clase. Sea $x\in\mathbb{R}^2$ un vector columna de entrada. Cada transformación afín combina una matriz con un vector de sesgo:

Una red de dos capas y sus dimensiones

\begin{aligned} z &= W_1x+b_1, & W_1&\in\mathbb{R}^{2\times 2}, & b_1&\in\mathbb{R}^2, & z&\in\mathbb{R}^2,\\ h &= \sigma(z), & h&\in\mathbb{R}^2,\\ y &= W_2h+b_2, & W_2&\in\mathbb{R}^{2\times 2}, & b_2&\in\mathbb{R}^2, & y&\in\mathbb{R}^2. \end{aligned}

El vector oculto $z$ es la preactivación de la primera transformación afín. La función $\sigma$ actúa sobre cada una de sus coordenadas; en nuestro ejemplo será ReLU, $\sigma(t)=\max(0,t)$ . La activación conserva la dimensión, de modo que $h$ sigue siendo un vector de dos coordenadas que se puede pasar a la segunda matriz.

La dimensión compartida entre dos transformaciones consecutivas debe coincidir: $W_1$ tiene dos columnas para las dos características de entrada y dos filas para sus salidas ocultas. A continuación, $W_2$ recibe esos dos valores ocultos y devuelve dos puntuaciones. El sesgo $b_1$ se suma una vez a cada coordenada oculta y $b_2$ , una vez a cada salida. Una matriz con dimensiones incompatibles no puede realizar la transformación indicada; esta es la misma comprobación de dimensiones que hace el producto matricial de NumPy.

Sigue una red con dos entradas y dos unidades ocultasMueve cualquiera de las coordenadas de entrada o cambia la regla de la capa oculta. El estado inicial usa x = (1, 1) y ReLU; todos los valores siguientes se muestran antes de que se ejecute JavaScript.

Entrada · 2 características
Transformación afín · 2 valores ocultos
Activación oculta
Transformación afín · 2 puntuaciones
Salida · 2 puntuaciones

z = W₁x + b₁

h = σ(z)

y = W₂h + b₂

Cambia la entrada y la regla oculta

Usa las teclas de dirección o el control deslizante para cambiar cada entrada de −2 a 2 en incrementos de 0.25.

Entrada x₁1.00Entrada x₂1.00

Regla ocultaReLUIdentidad (sin activación)

Preactivación z: (-0.50, 0.50)
Salida oculta h: (0.00, 0.50)
Puntuaciones y: (1.50, -0.50)
Unidades ocultas activas: 1 / 2
Rango del jacobiano local: 1

Los valores iniciales de la figura usan estos parámetros fijos, elegidos manualmente:

W_1=\begin{bmatrix}1&-1\\1&1\end{bmatrix},\quad b_1=\begin{bmatrix}-0.5\\-1.5\end{bmatrix},\quad W_2=\begin{bmatrix}1&2\\-1&1\end{bmatrix},\quad b_2=\begin{bmatrix}0.5\\-1\end{bmatrix}.

El ejemplo es lo bastante pequeño como para seguirlo entrada por entrada. Sus valores se han elegido para mostrar cómo ReLU desactiva una unidad oculta; no son parámetros entrenados ni representan un modelo típico.

Calcula una predicción y conserva cada resultado intermedio

Tomemos $x=(1,1)^\mathsf{T}$ . La primera matriz combina las dos coordenadas de entrada de distintas maneras. Al sumar el sesgo, se traslada cada resultado:

Propagación hacia delante con una activación ReLU oculta

\begin{aligned} z &= W_1x+b_1 = \begin{bmatrix}1&-1\\1&1\end{bmatrix} \begin{bmatrix}1\\1\end{bmatrix} +\begin{bmatrix}-0.5\\-1.5\end{bmatrix} = \begin{bmatrix}0\\2\end{bmatrix} +\begin{bmatrix}-0.5\\-1.5\end{bmatrix} = \begin{bmatrix}-0.5\\0.5\end{bmatrix},\\[4pt] h &= \operatorname{ReLU}(z) = \begin{bmatrix}\max(0,-0.5)\\\max(0,0.5)\end{bmatrix} = \begin{bmatrix}0\\0.5\end{bmatrix},\\[4pt] y &= W_2h+b_2 = \begin{bmatrix}1&2\\-1&1\end{bmatrix} \begin{bmatrix}0\\0.5\end{bmatrix} +\begin{bmatrix}0.5\\-1\end{bmatrix} = \begin{bmatrix}1\\0.5\end{bmatrix} +\begin{bmatrix}0.5\\-1\end{bmatrix} = \begin{bmatrix}1.5\\-0.5\end{bmatrix}. \end{aligned}

Las dimensiones en cada paso son $(2\times2)(2,)+(2,)=(2,)$ ; luego, la activación conserva la dimensión $(2,)$ ; por último, $(2\times2)(2,)+(2,)=(2,)$ . El resultado $y$ consta de dos puntuaciones. Haría falta una regla de salida aparte para convertirlas en una etiqueta o en una distribución de probabilidades.

El operador @ de NumPy realiza la multiplicación de matrices. Las operaciones + b siguientes usan el broadcasting elemento a elemento de NumPy para sumar un sesgo de longitud dos a un resultado de longitud dos. Esta pequeña implementación imprime los vectores intermedios reales:

import numpy as np

W1 = np.array([[1.0, -1.0], [1.0, 1.0]])  # (2, 2)
b1 = np.array([-0.5, -1.5])               # (2,)
W2 = np.array([[1.0, 2.0], [-1.0, 1.0]])  # (2, 2)
b2 = np.array([0.5, -1.0])                # (2,)
x = np.array([1.0, 1.0])                  # (2,)

z = W1 @ x + b1                           # (2,) = (2, 2) @ (2,) + (2,)
h = np.maximum(z, 0.0)                    # (2,), elementwise ReLU
y = W2 @ h + b2                           # (2,) = (2, 2) @ (2,) + (2,)

print('z:', z)  # [-0.5  0.5]
print('h:', h)  # [0.  0.5]
print('y:', y)  # [ 1.5 -0.5]

La misma lógica de dimensiones se aplica a un lote. Si se almacenan $B$ ejemplos en filas, el arreglo tiene dimensión $(B,2)$ ; se multiplica por la derecha por $W_1^\mathsf{T}$ para producir valores ocultos con dimensión $(B,2)$ y, después, por $W_2^\mathsf{T}$ para obtener puntuaciones también con dimensión $(B,2)$ . La capa Linear de PyTorch sigue esa convención por filas: su peso tiene dimensión $(\text{out features},\text{in features})$ y calcula $y=xA^\mathsf{T}+b$ . Por tanto, Linear(2, 2) almacena un peso de dimensión $(2,2)$ y un sesgo de longitud dos. ReLU de PyTorch se aplica elemento a elemento y conserva la dimensión de entrada, como en el paso anterior (documentación de Linear, de ReLU y de NumPy matmul).

Sin activación, dos capas siguen siendo una transformación afín

El sesgo de una capa afín es una traslación. Si el paso oculto es la identidad, se pueden componer las dos capas mediante sustitución:

y=W_2(W_1x+b_1)+b_2 =(W_2W_1)x+(W_2b_1+b_2).

Así, apilar más transformaciones afines sin una activación no lineal no convierte la regla global de entrada a salida en una regla no lineal: las matrices se multiplican para formar una sola matriz y los sesgos se combinan en un único desplazamiento. Con los valores elegidos, $W_2W_1=\begin{bmatrix}3&1\\0&2\end{bmatrix}$ y $W_2b_1+b_2=(-3,-2)^\mathsf{T}$ . Por tanto, la versión con identidad transforma $(1,1)^\mathsf{T}$ en $(1,0)^\mathsf{T}$ .

El rango de una matriz cuenta sus direcciones de salida independientes. En este ejemplo con identidad, tanto $W_1$ como $W_2$ tienen rango dos, y su producto también tiene rango dos. Si la anchura oculta de una red es $r$ , el rango de la parte lineal de una composición afín no puede superar $r$ , ya que pasa por solo $r$ coordenadas. Si alguna de las matrices tiene un rango menor, el rango de la composición podría ser aún más bajo. Estos son límites superiores: una capa estrecha puede ser un cuello de botella, pero la anchura por sí sola no garantiza un rango concreto.

ReLU hace que la transformación sea afín a trozos

ReLU cambia una coordenada oculta a cero cuando su preactivación es negativa. En cualquier región donde los signos de todas las preactivaciones se mantengan, el conjunto de unidades activas también es fijo. Sea $D$ una matriz diagonal con un $1$ por cada unidad ReLU activa y un $0$ por cada unidad inactiva. Dentro de esa región, la parte lineal local de la red de dos capas es

J=W_2DW_1.

Para la entrada del ejemplo, $z=(-0.5,0.5)^\mathsf{T}$ , así que $D=\begin{bmatrix}0&0\\0&1\end{bmatrix}$ . Entonces,

J= \begin{bmatrix}1&2\\-1&1\end{bmatrix} \begin{bmatrix}0&0\\0&1\end{bmatrix} \begin{bmatrix}1&-1\\1&1\end{bmatrix} =\begin{bmatrix}2&2\\1&1\end{bmatrix}, \qquad \operatorname{rank}(J)=1.

Cerca de esta entrada, las dos puntuaciones de salida cambian según la misma combinación de entrada, $x_1+x_2$ ; la dirección de diferencia $(1,-1)$ no tiene efecto mientras la primera unidad siga inactiva. La matriz $J$ describe los cambios locales dentro de esta región de activación, no una matriz global única para toda la red. En el límite de ReLU, cuando una preactivación es cero, la función tiene un vértice y el jacobiano de una sola región no describe ambos lados.

La anchura oculta y los pesos también limitan lo que puede expresar la red. En este ejemplo concreto, las dos rectas donde la preactivación es cero dividen el plano de entrada en regiones con distintos patrones de unidades activas; cada región tiene una regla afín y, al cruzar una recta, esa regla puede cambiar. En general, incluir una activación no lineal permite funciones no lineales, pero no hace que cualquier elección de pesos sea expresiva. Una unidad oculta podría permanecer desactivada para las entradas de interés, o las matrices podrían colapsar direcciones. Las dimensiones de las matrices, sus rangos, los desplazamientos de los sesgos y el patrón de activación contribuyen al comportamiento.

Por eso, los valores de salida por sí solos son una señal limitada al depurar. Sigue las dimensiones para detectar conexiones incompatibles, compara $z$ con $h$ para ver qué características quedaron bloqueadas e inspecciona los rangos de las capas o el jacobiano local para identificar direcciones perdidas. Cuando un paso de ajuste separado te pida resolver $Ax\approx b$ , la lección 025 explica por qué un método numérico evita los riesgos de formar $A^{-1}$ . La propagación hacia delante de una red usa productos de matrices; no necesita invertir los pesos aprendidos.

Una vez claras las transformaciones y sus direcciones, la siguiente pregunta es cuánto mide un vector. La lección 039 presenta las normas para medir la magnitud de los vectores, comparar escalas de embeddings y describir penalizaciones de parámetros.

Comprueba lo que has entendido

Question 1

Para la red de esta lección, indica las dimensiones de x, W₁, b₁, z, h, W₂, b₂ e y. ¿Por qué puede W₂ recibir h?