Taxa de recusa

Refusal Rate / False Refusal Rate

Métrica

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de GenAI e agentes

O que significa

É a proporção de pedidos que o sistema se recusa a responder. Recusas corretas (pedido fora de escopo, inseguro, sem base na fonte) são desejáveis. Falsas recusas (pedido legítimo negado) são uma falha de produto tão grave quanto a alucinação: o usuário deixa de confiar e procura outro canal. As duas precisam ser medidas separadamente. Guardrails agressivos demais e prompts defensivos em excesso são as causas mais comuns de falsa recusa.

Como usar na prática de produto

Em Produto, vale monitorar a taxa de recusa total e, dentro dela, quantas foram indevidas, por amostragem humana. Uma subida na taxa de recusa após uma mudança de modelo é sinal de provider drift. O equilíbrio entre recusar e responder é uma decisão de produto: um assistente que recusa demais é inútil; um que responde tudo é perigoso. Por exemplo, após um novo guardrail, a falsa recusa subiu de 1% para 6%: perguntas sobre “cancelamento” estavam sendo interpretadas como fora de escopo.

Quando usar este termo ou outro

Use taxa de recusa e de falsa recusa em todo assistente com guardrails. Use taxa de escalonamento humano como métrica irmã: quando o sistema entrega para uma pessoa em vez de recusar. Use taxa de alucinação como o contraponto: o risco de responder o que não deveria. Uma forma simples de diferenciar: recusa correta protege; falsa recusa frustra; escalonamento resolve por outro caminho.

Exemplos de aplicação

Guardrail novo: falsa recusa subindo de 1% para 6% por interpretação errada de “cancelamento”.
Provider drift: aumento de recusas após atualização do modelo do fornecedor.
Amostragem: revisar recusas semanalmente para identificar as indevidas.
Ajuste: refinar o escopo nas instruções para reduzir falsas recusas.
Equilíbrio: acompanhar recusa e alucinação juntas para não trocar um problema pelo outro.

Como calcular

Fórmulas: Taxa de recusa = respostas recusadas ÷ total de pedidos. Taxa de falsa recusa = recusas indevidas ÷ total de pedidos (ou ÷ total de recusas, conforme o que se quer acompanhar). Passo a passo: 1. Identifique automaticamente as respostas que são recusas (por padrão de texto ou por marcação do sistema). 2. Calcule a taxa de recusa sobre o total. 3. Amostre as recusas e classifique, com avaliação humana, quais eram indevidas. 4. Calcule a taxa de falsa recusa. Exemplo: 1.000 pedidos, 80 recusas, 30 delas indevidas. Taxa de recusa = 8%. Taxa de falsa recusa = 3% do total (ou 37,5% das recusas). Como interpretar: Uma taxa de recusa alta pode ser adequada se as recusas são corretas. Uma taxa de falsa recusa acima de 1% ou 2% costuma indicar guardrails ou instruções desalinhados com o escopo real do produto.

Origem do termo

Métricas de alinhamento e segurança de LLMs (Anthropic, OpenAI, 2023); 'over-refusal' nomeado em benchmarks como XSTest (2023).

Fonte técnica

Röttger et al., XSTest (2023); OpenAI, Model Spec