Recall

Recall / Sensitivity

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

É a proporção de casos positivos reais que o modelo conseguiu encontrar. Responde à pergunta: “de tudo o que existia para apontar, quanto o modelo apontou?”. Mede a cobertura. Recall baixo significa muitos falsos negativos: fraudes que passaram, defeitos não detectados, documentos relevantes não recuperados. Na estatística médica, é chamado de sensibilidade. A especificidade é o equivalente para a classe negativa.

Como usar na prática de produto

Em Produto, vale priorizar recall quando deixar passar é o erro caro: fraude, risco de segurança, doença, cláusula de risco em um contrato. O preço é mais falsos positivos, o que exige capacidade de revisão humana para lidar com eles. A pergunta de produto é: “quantos falsos alarmes aceito para não perder um caso real?”. Por exemplo, recall de 0,80 na detecção de defeitos significa que 1 em cada 5 defeitos reais não é detectado e vira problema depois. Esse custo precisa ser comparado ao custo de revisar mais casos.

Quando usar este termo ou outro

Use recall quando o objetivo é detectar o raro e caro, e deixar passar é o pior erro. Use precisão quando o que importa é a qualidade do que é exibido ou acionado. Em RAG, use o recall da recuperação (o trecho certo foi trazido?) como a métrica que mais prediz a qualidade final. Uma forma simples de diferenciar: recall alto é uma rede de pesca fina, que pega tudo, inclusive o que não devia; precisão alta é uma rede seletiva, que só pega o certo, mas deixa escapar.

Exemplos de aplicação

Fraude: 20% das fraudes não detectadas, cada uma com custo direto.
Defeitos: 1 em 5 danos reais não detectados virando disputa depois.
Saúde: exames com problema não sinalizados para o especialista.
RAG: o trecho certo não chega ao modelo em parte das perguntas.
Limiar: baixar o limiar para aumentar o recall, com mais casos para revisão.

Como calcular

Fórmula: Recall = verdadeiros positivos ÷ (verdadeiros positivos + falsos negativos). Passo a passo: 1. Conte quantos casos positivos existem de verdade no conjunto de teste. 2. Entre eles, conte quantos o modelo encontrou. 3. Divida o segundo pelo primeiro. Exemplo: Existem 50 fraudes reais; o modelo encontrou 40. Recall = 40 ÷ 50 = 0,80. O modelo capturou 80% das fraudes e deixou passar 20%. Em busca e RAG, a variante é Recall@k: entre os k primeiros resultados, quantos itens relevantes aparecem, dividido pelo total de itens relevantes existentes. Como interpretar: Recall de 0,80 significa que 1 em cada 5 casos reais escapa. Se cada caso que escapa custa muito (uma fraude, um defeito grave), vale baixar o limiar para capturar mais, aceitando mais falsos alarmes.

Origem do termo

Recuperação de informação (1955); 'sensibilidade' na estatística médica.

Fonte técnica

Google Machine Learning Crash Course, Classification: precision and recall