Building & Running AI beginner

Rate Limit

The cap a provider puts on how many requests or tokens you can use per interval.

Los límites de tasa protegen la capacidad compartida y condicionan tu arquitectura: cualquier integración en producción necesita backoff, reintentos y una cola. Los límites suelen subir con el nivel de la cuenta y el historial de uso, así que planifica con el límite que tienes hoy, no con el que esperas tener.

En la práctica: HTTP 429 a las 3pm porque el tráfico de todos llega al pico al mismo tiempo.

Where this comes up