Gradient Descent
The optimisation method that finds better parameters by repeatedly stepping downhill on the loss.
El descenso de gradiente calcula en qué dirección debe moverse cada parámetro para reducir la pérdida y luego da un paso pequeño en esa dirección. Repítelo millones de veces y el modelo converge. Casi todo el entrenamiento moderno usa alguna variante, normalmente Adam.
En la práctica: Es como bajar una colina en la niebla: no ves el valle, pero sientes la pendiente bajo tus pies.