Geração aumentada por recuperação

É um padrão de arquitetura em que, antes de gerar a resposta, o sistema busca trechos relevantes em uma base de conhecimento (documentos, políticas, contratos, manuais) e os inclui no prompt. O modelo responde com base no que foi recuperado, e pode citar a fonte. A ideia resolve dois problemas dos LLMs: eles não conhecem informações da sua empresa, e o conhecimento deles tem data de corte. Com RAG, o modelo passa a responder com base em dados atuais e específicos, sem precisar ser retreinado. O RAG não resolve tudo. Se o trecho certo não for recuperado, o modelo responde errado com fluência. Por isso, a qualidade da busca é tão importante quanto a qualidade do modelo.

Em Produto, RAG é a abordagem certa quando a resposta depende de conhecimento próprio da empresa e que muda com o tempo: políticas, contratos, base de suporte, documentação de produto. Uma regra prática: a qualidade de um RAG é 80% recuperação e 20% geração. Antes de trocar o LLM, vale investir em como os documentos são divididos, em como a busca funciona e em como os resultados são ordenados. É ali que a maioria dos problemas mora. Por isso, avalie recuperação e geração separadamente. Perguntas como “o trecho certo foi encontrado?” e “a resposta é fiel ao trecho?” têm respostas diferentes e apontam para correções diferentes.

Use RAG quando o modelo precisa de conhecimento atual, específico da empresa e citável. Use fine-tuning quando o que precisa mudar é o comportamento, o estilo ou o formato das respostas, não o conhecimento. Use contexto longo quando o documento inteiro cabe no prompt e é sempre necessário, como na análise de um único contrato. As três abordagens se combinam: um produto pode usar RAG para conhecimento, fine-tuning para o tom e contexto longo para documentos individuais. Uma forma simples de diferenciar: RAG dá ao modelo o que ler; fine-tuning muda como ele escreve; contexto longo deixa tudo na mesa de uma vez.

Lewis et al., Facebook AI Research (2020). Virou o padrão de mercado para 'LLM com dados da empresa' em 2023.

Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020); Microsoft Azure Architecture Center, RAG design guide