Gradient Descent
The optimisation method that finds better parameters by repeatedly stepping downhill on the loss.
La descente de gradient calcule dans quelle direction chaque paramètre doit se déplacer pour réduire la perte, puis fait un petit pas dans ce sens. Répétez des millions de fois et le modèle converge. Presque tout l’entraînement moderne en utilise une variante, généralement Adam.
En pratique : Comme descendre une colline dans le brouillard : vous ne voyez pas la vallée, mais vous sentez la pente sous vos pieds.