Context rot

É a degradação da qualidade da resposta à medida que o contexto cresce, mesmo dentro do limite da janela. Informações no meio de contextos longos tendem a ser ignoradas (o fenômeno “lost in the middle”), conteúdos irrelevantes confundem o modelo e instruções dadas no início perdem força ao longo de uma conversa longa. Ou seja, ter uma janela de contexto grande não significa que o modelo usa bem tudo o que está nela. Contexto grande não é o mesmo que contexto bem aproveitado. O fenômeno foi documentado em pesquisa acadêmica e confirmado em testes com modelos recentes.

Em Produto, context rot explica sintomas comuns: o assistente ignora uma regra que está no prompt, responde com base em um documento errado ou “esquece” algo que o usuário disse no início da conversa. A resposta não é um modelo maior, mas melhor gestão do contexto: recuperar só o necessário, resumir o histórico quando fica longo, posicionar instruções e dados críticos no início ou no fim, e testar com contextos do tamanho real de produção. Por exemplo, se após 15 turnos o assistente esquece que o cliente é pessoa jurídica, um resumo periódico do histórico, mantendo os fatos essenciais, resolve o problema.

Use context rot quando o modelo ignora informações que estão no contexto ou se confunde em contextos longos. Use janela de contexto quando o problema é a informação não caber, e não ser ignorada. Use context engineering para a prática que previne o problema. Uma forma simples de diferenciar: janela de contexto é o limite do que cabe; context rot é a perda de qualidade dentro do que cabe.

'Lost in the middle': Liu et al. (Stanford, 2023). 'Context rot': relatório da Chroma (2025) mostrando degradação de desempenho com o crescimento do contexto.

Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023); Chroma Research, Context Rot (2025)