Inference Cost
Also called: token cost
What it costs to run a model in production, billed per token in and per token out.
Los tokens de entrada y los de salida suelen tener precios distintos, y la salida es el lado caro. Los costos escalan con la longitud de la conversación porque el historial se reenvía en cada turno, y por eso las apps de chat ingenuas se vuelven caras rápido. El caching, un contexto más corto y enrutar a modelos más pequeños son las palancas estándar.
En la práctica: Reenviar un documento de 50 páginas con cada pregunta de seguimiento, y pagarlo cada vez.