Hyperparameter
A setting you choose before training, as opposed to a parameter the model learns during it.
Taux d’apprentissage, taille de lot, nombre de couches, taux de dropout — ce sont des hyperparamètres. Ils sont choisis par le développeur et ajustés sur des données de validation. La distinction avec les paramètres est simple : vous fixez les hyperparamètres, l’entraînement fixe les paramètres.
En pratique : Relancer le même job 20 fois avec des taux d’apprentissage différents pour trouver celui qui converge le mieux.