Generative AI & LLMs beginner

Context Window

The maximum number of tokens a model can consider at once — prompt, documents, and its own answer combined.

Das Kontextfenster ist das Arbeitsgedächtnis des Modells für eine einzelne Anfrage. Alles muss hineinpassen: System-Prompt, Chatverlauf, angehängte Dateien und die Antwort. Wird es überschritten, fällt der älteste Inhalt weg oder der Aufruf schlägt fehl. Beachte: Ein großes Fenster heißt nicht, dass das Modell darin auch gut behält — die Mitte geht ihm nach wie vor verloren.

In der Praxis: Ein 200K-Fenster fasst grob ein 500-seitiges Buch — aber die Antwort muss da auch noch hineinpassen.

Where this comes up