Hyperparameter
A setting you choose before training, as opposed to a parameter the model learns during it.
Lernrate, Batch-Größe, Anzahl der Schichten, Dropout-Rate — das sind Hyperparameter. Sie werden von der Entwicklung gewählt und gegen Validierungsdaten justiert. Die Abgrenzung zu Parametern ist simpel: Hyperparameter setzt du, Parameter setzt das Training.
In der Praxis: Denselben Job 20-mal mit unterschiedlichen Lernraten laufen lassen, um die zu finden, die am besten konvergiert.