Context Window

La finestra di contesto è la memoria di lavoro del modello per una singola richiesta. Deve starci tutto: prompt di sistema, cronologia della conversazione, file allegati e la risposta. Se la superi, i contenuti più vecchi vengono scartati oppure la chiamata fallisce. Nota che una finestra grande non equivale a un buon recupero al suo interno — i modelli perdono comunque il filo nella parte centrale.

In pratica: Una finestra da 200K contiene all’incirca un libro di 500 pagine — ma anche la risposta deve starci dentro.