Janela de contexto

É a quantidade máxima de tokens que o modelo consegue considerar de uma vez. Inclui tudo: as instruções do sistema, o histórico da conversa, os documentos fornecidos e a própria resposta que está sendo gerada. O que ultrapassa esse limite simplesmente não é visto pelo modelo. As janelas de contexto cresceram muito nos últimos anos, de alguns milhares de tokens para centenas de milhares ou milhões. Mas uma janela grande não significa uso uniforme: a qualidade tende a cair em contextos muito longos, e o custo cresce proporcionalmente ao que é enviado. É como a capacidade de atenção de uma pessoa em uma reunião: existe um limite para quanto dá para acompanhar de uma vez.

Em Produto, a janela de contexto define o que é possível fazer em uma única chamada e quanto isso custa. Um contexto grande é útil para tarefas que precisam de tudo ao mesmo tempo, como analisar um contrato inteiro. Mas contexto grande não substitui RAG. Enviar 500 páginas no prompt a cada pergunta custa caro e piora a qualidade, porque o modelo se perde em meio a tanto texto. O melhor uso é enviar o que é relevante para a pergunta atual e usar recuperação para trazer só o que é necessário de bases grandes. Vale monitorar o tamanho médio do contexto por chamada como uma métrica de custo. Um crescimento silencioso ali vira uma conta inesperada no fim do mês.

Use janela de contexto quando estiver falando do limite de texto que o modelo pode processar de uma vez. Use contexto longo para tarefas que precisam de todo o material ao mesmo tempo, como analisar um documento completo. Use RAG para bases grandes das quais apenas uma parte importa em cada pergunta. Uma forma simples de diferenciar: janela de contexto é o tamanho da mesa de trabalho; RAG é a biblioteca de onde você traz só o livro que precisa.

Limite estrutural dos Transformers; cresceu de 2 mil tokens (GPT-3, 2020) para centenas de milhares ou milhões (2024-2025).

Google Machine Learning Crash Course, LLMs; Liu et al., Lost in the Middle (2023)