Activation Function
The non-linear step applied at each unit, without which a deep network would collapse into a single linear one.
Une fonction d’activation décide de ce qu’une unité transmet. La non-linéarité est tout l’enjeu : empilez cent couches linéaires et vous avez toujours un modèle linéaire, mais insérez une fonction non linéaire entre elles et le réseau peut représenter des courbes, des interactions et de la structure. ReLU est le choix par défaut le plus courant.
En pratique : ReLU : une entrée négative devient zéro, une entrée positive passe inchangée.