Throughput
How much work a system handles per unit of time — tokens per second, requests per minute.
Throughput é a questão de capacidade, distinta da questão de velocidade que a latência responde. Fazer batching aumenta o throughput e aumenta a latência individual, que é exatamente a troca que você quer em trabalhos offline e exatamente a errada em chat.
Na prática: Rode um milhão de classificações em lote durante a noite; ninguém está olhando o relógio.