Generative AI & LLMs beginner

Context Window

The maximum number of tokens a model can consider at once — prompt, documents, and its own answer combined.

La fenêtre de contexte est la mémoire de travail du modèle pour une seule requête. Tout doit y tenir : prompt système, historique de conversation, fichiers joints et réponse. Dépassez-la et le contenu le plus ancien est écarté, ou l’appel échoue. Notez qu’une grande fenêtre n’équivaut pas à une bonne mémoire à l’intérieur — les modèles perdent encore le fil au milieu.

En pratique : Une fenêtre de 200K contient à peu près un livre de 500 pages — mais la réponse doit tenir dedans elle aussi.

Where this comes up