Batch Size
How many examples the model processes before updating its weights once.
Die Batch-Größe wägt Stabilität gegen Speicher und Geschwindigkeit ab. Große Batches liefern glattere Gradientenschätzungen, brauchen aber mehr GPU-Speicher; kleine Batches sind verrauschter, generalisieren dafür manchmal besser. Sie hängt mit der Lernrate zusammen, deshalb werden beide meist gemeinsam eingestellt.
In der Praxis: Batch-Größe 32 heißt: 32 Beispiele rein, ein Gewichts-Update raus.