Recall@k e Precision@k

Recall@k / Precision@k

Métrica de busca

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de recuperação

O que significa

São versões de recall e precisão restritas aos k primeiros resultados de uma busca ou recomendação. Recall@k é a fração dos itens relevantes que aparecem entre os k primeiros. Precision@k é a fração dos k primeiros que é relevante. A lógica é que o usuário (ou o modelo de linguagem) só vê os primeiros resultados. O que está além de k não conta, por melhor que seja. São as métricas mais usadas para avaliar sistemas de busca e a etapa de recuperação do RAG.

Como usar na prática de produto

Em Produto, o valor de k deve ser escolhido pelo que o consumidor de fato usa. Se o modelo de linguagem recebe 5 trechos, mede-se recall@5. Se a tela mostra 10 resultados, mede-se precision@10. Uma regra prática: otimize recall@k na etapa de recuperação (garantir que o certo está entre os candidatos) e precision@k na etapa de reranking (garantir que o topo é limpo). Por exemplo, recall@5 de 0,62 na busca de precedentes: em 38% das perguntas, o precedente certo não chega ao modelo.

Quando usar este termo ou outro

Use recall@k para garantir que os itens certos estão entre os candidatos. Use precision@k para garantir que o topo da lista é relevante. Use MRR e NDCG quando a posição exata de cada item importa. Uma forma simples de diferenciar: recall@k pergunta “o certo está entre os k?”; precision@k pergunta “quantos dos k são certos?”.

Exemplos de aplicação

RAG: medir recall@5 quando o modelo recebe 5 trechos.
Busca: medir precision@10 quando a tela mostra 10 resultados.
Precedentes: recall@5 de 0,62 indica que a busca perde o caso certo em 38% das vezes.
Otimização: melhorar recall na recuperação e precision no reranking.
Comparação: avaliar modelos de embeddings pelo recall@k no seu domínio.

Como calcular

Fórmulas: Recall@k = itens relevantes entre os k primeiros ÷ total de itens relevantes existentes. Precision@k = itens relevantes entre os k primeiros ÷ k. Passo a passo: 1. Para cada consulta do eval, marque quais itens da base são relevantes. 2. Rode a busca e pegue os k primeiros resultados. 3. Conte quantos deles são relevantes. 4. Calcule as duas métricas e faça a média sobre todas as consultas. Exemplo: Existem 4 documentos relevantes para uma consulta. Entre os 10 primeiros resultados, aparecem 3 deles. Recall@10 = 3 ÷ 4 = 0,75. Precision@10 = 3 ÷ 10 = 0,30. Como interpretar: Recall@10 de 0,75 indica que um dos documentos relevantes ficou fora do top 10. Precision@10 de 0,30 indica que 7 dos 10 resultados eram irrelevantes. Escolha k igual ao que o usuário ou o modelo de fato consome.

Origem do termo

Recuperação de informação clássica (TREC, anos 1990).

Fonte técnica

Manning, Raghavan & Schütze, Introduction to Information Retrieval (2008)