Gradient Descent
The optimisation method that finds better parameters by repeatedly stepping downhill on the loss.
La discesa del gradiente calcola in che direzione deve muoversi ogni parametro per ridurre la loss, poi fa un piccolo passo in quel verso. Ripeti milioni di volte e il modello converge. Quasi tutto l’addestramento moderno usa una sua variante, di solito Adam.
In pratica: Come camminare in discesa nella nebbia: non vedi la valle, ma senti la pendenza sotto i piedi.