Hyperparameter
A setting you choose before training, as opposed to a parameter the model learns during it.
Tasa de aprendizaje, tamaño de lote, número de capas, tasa de dropout — todos son hiperparámetros. Los elige quien desarrolla y se ajustan contra datos de validación. La distinción frente a los parámetros es simple: tú fijas los hiperparámetros, el entrenamiento fija los parámetros.
En la práctica: Correr el mismo trabajo 20 veces con distintas tasas de aprendizaje para encontrar la que converge mejor.