Batch Size
How many examples the model processes before updating its weights once.
La batch size mette in equilibrio stabilità, memoria e velocità. Batch grandi danno stime del gradiente più regolari ma richiedono più memoria GPU; batch piccoli sono più rumorosi ma a volte generalizzano meglio. Interagisce con il learning rate, quindi i due si regolano di solito insieme.
In pratica: Una batch size di 32 significa 32 esempi in ingresso e un aggiornamento dei pesi in uscita.