Gradient Descent
The optimisation method that finds better parameters by repeatedly stepping downhill on the loss.
O gradiente descendente calcula em que direção cada parâmetro deve se mover para reduzir a perda e então dá um passo pequeno nesse sentido. Repita milhões de vezes e o modelo converge. Quase todo treinamento moderno usa alguma variante dele, em geral o Adam.
Na prática: É como descer uma encosta na neblina: você não enxerga o vale, mas sente a inclinação sob os pés.