Building & Running AI beginner

Rate Limit

The cap a provider puts on how many requests or tokens you can use per interval.

Rate Limits schützen geteilte Kapazität und prägen deine Architektur: Jede produktive Integration braucht Backoff, Retries und eine Queue. Die Limits steigen üblicherweise mit Account-Stufe und Nutzungshistorie — plane also mit dem Limit, das du heute hast, nicht mit dem, das du dir erhoffst.

In der Praxis: HTTP 429 um 3 Uhr nachmittags, weil der Traffic bei allen gleichzeitig seinen Höhepunkt hat.

Where this comes up