Context Window

A janela de contexto é a memória de trabalho do modelo para uma única requisição. Tudo precisa caber: prompt de sistema, histórico da conversa, arquivos anexados e a resposta. Se estourar, o conteúdo mais antigo é descartado ou a chamada falha. Note que uma janela grande não é o mesmo que boa recuperação dentro dela — os modelos ainda se perdem no meio.

Na prática: Uma janela de 200K comporta cerca de um livro de 500 páginas — mas a resposta também precisa caber ali.