Context Window

La ventana de contexto es la memoria de trabajo del modelo para una sola solicitud. Todo tiene que caber: el prompt de sistema, el historial del chat, los archivos adjuntos y la respuesta. Si la excedes, se descarta el contenido más antiguo o la llamada falla. Ten en cuenta que una ventana grande no es lo mismo que una buena recuperación dentro de ella — los modelos siguen perdiendo el hilo en la parte media.

En la práctica: Una ventana de 200K contiene aproximadamente un libro de 500 páginas — pero la respuesta también tiene que caber ahí.