Building & Running AI intermediate

Prompt Caching

Reusing the processed form of a repeated prompt prefix so you do not pay full price for it again.

Wenn viele Anfragen denselben langen, stabilen Anfang teilen — einen System-Prompt, ein Dokument, eine Reihe von Beispielen —, kann der Anbieter dank Caching auf die erneute Berechnung verzichten. Die Ersparnis ist groß und fast geschenkt: Stell den stabilen Inhalt nach vorn und den variablen ans Ende.

In der Praxis: Ein Handbuch mit 20,000 Token, einmal gecacht und danach tausendfach günstig abgefragt.

Where this comes up