Regularization
Any technique that deliberately constrains a model to stop it memorising the training set.
La régularisation échange un peu de précision à l’entraînement contre une meilleure généralisation. Les formes courantes sont la pénalisation des poids élevés, la désactivation aléatoire d’unités pendant l’entraînement et l’arrêt anticipé. C’est le principal levier contre le surapprentissage quand vous ne pouvez pas obtenir plus de données.
En pratique : Le dropout éteint des unités au hasard à chaque étape, pour que le réseau ne puisse s’appuyer sur aucune en particulier.