Taxa de alucinação

Hallucination Rate

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de GenAI e agentes

O que significa

É a proporção de respostas que contêm uma afirmação falsa ou não sustentada pela fonte, apresentada com confiança. Em sistemas de RAG, é o complemento da fidelidade: a fração de respostas com pelo menos uma afirmação não sustentada. Em respostas sem fonte, exige verificação humana ou comparação com uma base de fatos. É a métrica de risco reputacional mais direta de um produto com IA generativa.

Como usar na prática de produto

Em Produto, o primeiro passo é definir o que conta como alucinação no seu contexto: fato inventado, número errado, política inexistente, cláusula que não existe. Depois, medir por amostragem contínua. Zero é o alvo em domínios regulados. Abaixo de 2%, com um fallback honesto (“não encontrei essa informação”), é aceitável em muitos assistentes. Toda alucinação encontrada entra no conjunto de avaliação. Por exemplo, 3,5% de alucinação concentrada em perguntas sobre exceções contratuais: a solução é adicionar os trechos de exceção à base e criar uma regra de “não encontrei”.

Quando usar este termo ou outro

Use taxa de alucinação como métrica de segurança de conteúdo e de risco reputacional. Use fidelidade como a versão granular, por afirmação, da mesma preocupação. Use taxa de recusa como o outro lado: o modelo que prefere não responder a inventar. Uma forma simples de diferenciar: alucinação é inventar; recusa é não responder; o equilíbrio entre as duas é uma decisão de produto.

Exemplos de aplicação

Amostragem: 200 respostas por semana avaliadas por juiz calibrado.
Concentração: identificar que as alucinações se concentram em perguntas sobre exceções.
Correção: adicionar conteúdo à base e regra de “não encontrei”.
Eval: toda alucinação encontrada vira caso de teste permanente.
Meta: definir o limite aceitável por domínio, com zero para temas regulados.

Como calcular

Fórmula: Taxa de alucinação = respostas com pelo menos uma afirmação não sustentada ÷ respostas avaliadas. Passo a passo: 1. Defina o critério de alucinação para o seu produto. 2. Amostre respostas de produção (por exemplo, 200 por semana). 3. Avalie cada resposta (por juiz calibrado ou humano) e marque as que contêm invenção. 4. Divida o número de respostas com invenção pelo total avaliado. 5. Reporte com intervalo de confiança e por tipo de pergunta. Exemplo: Em 200 respostas amostradas, 7 contêm afirmação sem base: taxa = 7 ÷ 200 = 3,5%. Com essa amostra, o intervalo de confiança é de cerca de ±2,5 pontos. Como interpretar: A taxa geral importa, mas a distribuição importa mais: alucinações concentradas em um tipo de pergunta apontam para uma lacuna específica na base ou no prompt.

Origem do termo

'Alucinação' em geração de texto: Maynez et al. (2020) para sumarização; virou métrica de produto com LLMs (2023).

Fonte técnica

Maynez et al., On Faithfulness and Factuality in Abstractive Summarization (2020); Ragas documentation