Hyperparameter
A setting you choose before training, as opposed to a parameter the model learns during it.
Learning rate, dimensione del batch, numero di layer, tasso di dropout — questi sono iperparametri. Li sceglie chi sviluppa e si mettono a punto sui dati di validazione. La distinzione dai parametri è semplice: gli iperparametri li imposti tu, i parametri li imposta l’addestramento.
In pratica: Lanciare lo stesso job 20 volte con learning rate diversi per trovare quello che converge meglio.