Context precision e context recall

Context Precision / Context Recall

Métrica de RAG

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de recuperação

O que significa

São as métricas da etapa de recuperação em um sistema de RAG, avaliadas antes da geração da resposta. O context recall mede, entre os trechos necessários para responder, quantos foram de fato recuperados. O context precision mede, entre os trechos recuperados, quantos eram necessários, e se os relevantes aparecem no topo. Recall baixo leva a respostas incompletas ou inventadas: o modelo não recebeu a informação. Precision baixa leva a contexto cheio de ruído, custo alto e modelo confuso. Permitem avaliar a busca separadamente do modelo de linguagem.

Como usar na prática de produto

Em Produto, avaliar a recuperação separadamente da geração é o que evita trocar de LLM quando o defeito está no índice. Se o context recall é 0,6, nenhum prompt vai consertar a resposta: em 40% dos casos, a informação certa não chega ao modelo. O diagnóstico aponta para a correção: recall baixo pede revisão de chunking, embeddings ou tipo de busca; precision baixa pede reranking ou redução do número de trechos. Por exemplo, o context recall era 0,58; após adotar busca híbrida e reranker, subiu para 0,89. A fidelidade das respostas subiu junto, sem mudar o modelo de linguagem.

Quando usar este termo ou outro

Use context recall como métrica primária da recuperação: o trecho certo chegou? Use context precision para otimizar quantos trechos enviar e a ordem deles. Meça as duas antes de mexer no prompt ou trocar o modelo. Uma forma simples de diferenciar: recall é “trouxe o que precisava?”; precision é “trouxe só o que precisava?”.

Exemplos de aplicação

Diagnóstico: recall de 0,58 antes e 0,89 depois de busca híbrida e reranker.
Chunking: testar estratégias de divisão comparando o context recall.
Top-k: reduzir o número de trechos enviados quando a precision é baixa.
Separação: avaliar busca e geração como etapas independentes.
Prioridade: corrigir a recuperação antes de investir no prompt.

Como calcular

Fórmulas: Context recall = trechos de referência recuperados ÷ trechos de referência existentes. Context precision (sem ponderar posição) = trechos relevantes recuperados ÷ total de trechos recuperados. Context precision@k (ponderando posição) = soma da precisão em cada posição onde há trecho relevante ÷ número de trechos relevantes, considerando as k primeiras posições. Passo a passo: 1. Para cada pergunta do eval, marque quais trechos da base contêm a resposta (os trechos de referência). 2. Rode a busca e registre os trechos recuperados e sua ordem. 3. Calcule o recall: quantos dos trechos de referência apareceram. 4. Calcule a precision: quantos dos recuperados eram de referência, dando mais peso aos que apareceram no topo. Exemplo: Três trechos são necessários para responder. A busca retornou 8 trechos, dos quais 2 eram necessários. Context recall = 2 ÷ 3 = 0,67. Context precision = 2 ÷ 8 = 0,25. Como interpretar: Recall de 0,67 significa que um terço da informação necessária não chegou ao modelo. Precision de 0,25 significa que 75% do contexto era ruído. Os dois números apontam para melhorias diferentes na busca.

Origem do termo

Framework Ragas (2023), adaptando precisão e recall para a etapa de recuperação do RAG.

Fonte técnica

Ragas documentation, Context Precision and Context Recall