Regularization
Any technique that deliberately constrains a model to stop it memorising the training set.
La regularización cambia un poco de precisión en el entrenamiento por una mejor generalización. Las formas comunes son penalizar los pesos grandes, apagar unidades al azar durante el entrenamiento y detenerse temprano. Es la principal palanca contra el sobreajuste cuando no puedes conseguir más datos.
En la práctica: El dropout apaga unidades al azar en cada paso para que la red no pueda depender de ninguna en particular.