Hyperparameter
A setting you choose before training, as opposed to a parameter the model learns during it.
Taxa de aprendizado, tamanho do lote, número de camadas, taxa de dropout — esses são hiperparâmetros. São escolhidos pelo desenvolvedor e ajustados contra dados de validação. A diferença em relação aos parâmetros é simples: você define os hiperparâmetros, o treinamento define os parâmetros.
Na prática: Rodar o mesmo job 20 vezes com taxas de aprendizado diferentes para achar a que converge melhor.