Throughput
How much work a system handles per unit of time — tokens per second, requests per minute.
Durchsatz ist die Frage nach der Kapazität, getrennt von der Frage nach der Geschwindigkeit, für die die Latenz steht. Batching erhöht den Durchsatz und erhöht dabei die einzelne Latenz — genau der Tausch, den du für Offline-Jobs willst, und genau der falsche für Chat.
In der Praxis: Eine Million Klassifikationen über Nacht als Batch; niemand schaut auf die Uhr.