Esquecimento catastrófico

É o fenômeno em que um modelo, ao ser treinado para uma tarefa nova, perde parte do desempenho nas tarefas que já sabia fazer. Isso acontece porque o treinamento ajusta os mesmos parâmetros que guardavam o conhecimento anterior, e esse conhecimento acaba sendo sobrescrito. É um risco típico de fine-tuning agressivo. Um modelo ajustado intensamente para um domínio específico pode ficar excelente nesse domínio e, ao mesmo tempo, piorar em capacidades gerais, como escrever bem em português, seguir instruções ou formatar respostas. Técnicas como PEFT e LoRA, que alteram apenas uma pequena parte dos parâmetros, reduzem esse risco. Abordagens como RAG e prompting não alteram parâmetro nenhum e, por isso, não sofrem com ele.

Em Produto, esquecimento catastrófico é um argumento para tratar fine-tuning com cuidado e para exigir avaliação de regressão. Quando o time propõe ajustar um modelo, não basta medir se ele melhorou na tarefa nova: é preciso verificar se continua bom nas tarefas que já funcionavam. Por exemplo, um assistente ajustado com linguagem jurídica pode passar a errar formatação de datas ou a responder de forma mais rígida em conversas comuns. Sem uma avaliação ampla, o time só descobre pelo usuário. Também é uma razão para preferir abordagens mais leves quando elas resolvem o problema: prompting e RAG primeiro, PEFT depois, fine-tuning completo apenas quando há evidência de que é necessário.

Use esquecimento catastrófico quando estiver falando da perda de capacidades anteriores de um modelo após novo treinamento. Não confunda com drift. Drift é a degradação do modelo ao longo do tempo porque o mundo ou os dados mudaram; esquecimento catastrófico é a degradação causada pelo próprio treinamento adicional. Também é diferente de limitação de contexto: um modelo que “esquece” o começo de uma conversa longa está lidando com o limite da janela de contexto, não com esquecimento catastrófico. Uma forma simples de diferenciar: esquecimento catastrófico é perder o que sabia ao aprender algo novo; drift é ficar desatualizado porque o mundo mudou.

Descrito por McCloskey & Cohen (1989) em redes neurais; voltou à pauta com o fine-tuning de LLMs.

McCloskey & Cohen, Catastrophic Interference in Connectionist Networks (1989); Hugging Face PEFT docs