Débit (throughput)
Le débit est la question de la capacité, distincte de la question de vitesse que pose la latence. Le batching augmente le débit tout en augmentant la latence individuelle, ce qui est exactement l’arbitrage voulu pour des traitements hors ligne et exactement le mauvais pour du chat. En pratique : Lancer un million de classifications en batch pendant la nuit ; personne ne regarde l’horloge.