Batch Size
How many examples the model processes before updating its weights once.
O batch size troca estabilidade por memória e velocidade. Lotes grandes dão estimativas de gradiente mais suaves, mas exigem mais memória de GPU; lotes pequenos são mais ruidosos, mas às vezes generalizam melhor. Ele interage com a taxa de aprendizado, então os dois costumam ser ajustados juntos.
Na prática: Batch size 32 significa 32 exemplos entrando e uma atualização de pesos saindo.