Regularization
Any technique that deliberately constrains a model to stop it memorising the training set.
A regularização troca um pouco de acurácia no treino por uma generalização melhor. As formas mais comuns são penalizar pesos grandes, desligar unidades aleatórias durante o treino e parar cedo. É a principal alavanca contra overfitting quando você não consegue mais dados.
Na prática: O dropout desliga unidades aleatoriamente a cada passo, para que a rede não possa depender de nenhuma delas em particular.