Activation Function
The non-linear step applied at each unit, without which a deep network would collapse into a single linear one.
Una función de activación decide qué pasa hacia adelante cada unidad. La no linealidad es justamente el punto: si apilas cien capas lineales sigues teniendo un modelo lineal, pero si insertas una función no lineal entre ellas, la red puede representar curvas, interacciones y estructura. ReLU es la opción predeterminada más común.
En la práctica: ReLU: una entrada negativa se convierte en cero; una entrada positiva pasa sin cambios.