Alucinação

É a saída fluente, confiante e falsa de um modelo de linguagem: um fato inventado, uma citação inexistente, um número errado, uma função de API que não existe, uma cláusula que o contrato não tem. Não é um bug ocasional. É consequência de o modelo gerar o texto mais provável, não o mais verdadeiro. Reduz-se com ancoragem em fontes, instruções de recusa, temperatura baixa e verificação; não se elimina. Alguns autores preferem o termo “confabulação”, da neuropsicologia, por ser mais preciso.

Em Produto, a premissa é que vai acontecer, e o desenho precisa considerar isso: fontes citadas, verificação automática de fidelidade, “não sei” como resposta aceitável, humano para o que é irreversível. Vale medir a taxa de alucinação e tratar cada caso encontrado como caso de eval. E nunca prometer “zero alucinação” a stakeholders. Por exemplo, o assistente cita a “cláusula 14.3 do contrato” sobre pneus; o contrato não tem cláusula 14.3. A resposta é verossímil, plausível e falsa.

Use alucinação para o comportamento: o modelo inventa. Use fidelidade para a métrica que detecta isso em sistemas de RAG. Use grounding para a técnica que reduz o problema. Uma forma simples de diferenciar: alucinação é o sintoma; fidelidade é o termômetro; grounding é o remédio.

Usado em visão computacional desde os anos 2000 e em geração de texto a partir de Maynez et al. (2020); 'confabulação' é proposto por alguns autores como termo mais preciso (emprestado da neuropsicologia).

Maynez et al. (2020); Ji et al., Survey of Hallucination in Natural Language Generation (2023)