Regularization
Any technique that deliberately constrains a model to stop it memorising the training set.
Regularisierung tauscht ein wenig Trainingsgenauigkeit gegen bessere Generalisierung. Übliche Formen sind große Gewichte zu bestrafen, während des Trainings zufällige Einheiten abzuschalten und früh zu stoppen. Sie ist der wichtigste Hebel gegen Overfitting, wenn du nicht an mehr Daten kommst.
In der Praxis: Dropout schaltet in jedem Schritt zufällig Einheiten ab, damit sich das Netz auf keine einzelne verlassen kann.