Hiperparâmetro
Taxa de aprendizado, tamanho do lote, número de camadas, taxa de dropout — esses são hiperparâmetros. São escolhidos pelo desenvolvedor e ajustados contra dados de validação. A diferença em relação aos parâmetros é simples: você define os hiperparâmetros, o treinamento define os parâmetros. Na prática: Rodar o mesmo job 20 vezes com taxas de aprendizado diferentes para achar a que converge melhor.