Foundations advanced

Batch Size

How many examples the model processes before updating its weights once.

El tamaño de lote intercambia estabilidad por memoria y velocidad. Los lotes grandes dan estimaciones de gradiente más suaves pero necesitan más memoria de GPU; los lotes pequeños son más ruidosos pero a veces generalizan mejor. Interactúa con la tasa de aprendizaje, así que ambos suelen ajustarse juntos.

En la práctica: Un tamaño de lote de 32 significa 32 ejemplos que entran y una actualización de pesos que sale.

Where this comes up