Gradient Descent
The optimisation method that finds better parameters by repeatedly stepping downhill on the loss.
Der Gradientenabstieg berechnet, in welche Richtung sich jeder Parameter bewegen muss, um den Loss zu verringern, und macht dann einen kleinen Schritt dorthin. Millionenfach wiederholt, konvergiert das Modell. Fast jedes moderne Training nutzt eine Variante davon, meist Adam.
In der Praxis: Wie bergab gehen im Nebel: Du siehst das Tal nicht, aber du spürst die Neigung unter deinen Füßen.