Fidelidade à fonte
Faithfulness / Groundedness
Métrica
IntermediárioCategoria: Evals, testes e métricasSubcategoria: Métricas de geração de texto
O que significa
É a proporção das afirmações de uma resposta que são sustentadas pelo contexto fornecido ao modelo (os documentos recuperados). Mede se o modelo respondeu com base nas fontes ou inventou.
Uma resposta pode ser verdadeira e infiel (o modelo acertou por conhecimento próprio, não pela fonte) ou fiel e inútil (só repete o contexto sem responder à pergunta). Fidelidade mede especificamente a ancoragem na fonte.
É a métrica central contra alucinação em sistemas de RAG.
Como usar na prática de produto
Em Produto, a fidelidade é a primeira métrica de qualquer assistente sobre base de conhecimento. Se a resposta diz algo que não está nos trechos, o produto inventou, mesmo que por acaso esteja certo.
Vale medir com juiz automático calibrado por avaliação humana. E vale definir um mínimo rigoroso: fidelidade abaixo de 0,9 em respostas sobre políticas, contratos ou valores é inaceitável.
Por exemplo, a resposta “sua franquia é de R$ 2.500 e cobre pneus”: a segunda afirmação não estava em nenhum trecho. Fidelidade de 0,5, resposta reprovada.
Quando usar este termo ou outro
Use fidelidade para respostas que devem se ancorar em fontes fornecidas.
Use factualidade (verdade contra o mundo) quando não há fonte fornecida e a resposta vem do conhecimento do modelo.
Use relevância da resposta para saber se ela atende à pergunta, além de ser fiel.
Uma forma simples de diferenciar: fidelidade é “está na fonte?”; factualidade é “é verdade?”; relevância é “responde ao que foi perguntado?”.
Exemplos de aplicação
- Atendimento: reprovar respostas que afirmam coberturas não presentes nos documentos.
- Juiz automático: verificar cada afirmação contra os trechos em milhares de respostas.
- Limite: exigir fidelidade mínima de 0,9 para respostas sobre políticas e contratos.
- Diagnóstico: fidelidade baixa com recuperação boa indica problema no prompt ou no modelo.
- Monitoramento: amostrar respostas em produção e medir a fidelidade semanalmente.
Como calcular
Fórmula:
Fidelidade = afirmações da resposta sustentadas pelo contexto ÷ total de afirmações da resposta.
Passo a passo:
1. Decomponha a resposta em afirmações atômicas (uma ideia verificável por afirmação).
2. Para cada afirmação, verifique (com juiz automático ou humano) se ela pode ser inferida dos trechos fornecidos.
3. Divida o número de afirmações sustentadas pelo total.
4. Além da média, reporte a proporção de respostas com fidelidade abaixo de 1, ou seja, com pelo menos uma invenção.
Exemplo:
Uma resposta com 5 afirmações, 4 presentes nos trechos e 1 inventada: fidelidade = 4 ÷ 5 = 0,80.
Como interpretar:
Fidelidade média alta é necessária, mas não suficiente. Uma resposta com fidelidade 0,9 ainda contém uma invenção a cada 10 afirmações. Para domínios sensíveis, o alvo é que a proporção de respostas com qualquer invenção seja próxima de zero.
Origem do termo
Métricas de avaliação de RAG consolidadas pelo framework Ragas (2023) e por guias de Google Cloud e Azure.
Fonte técnica
Ragas documentation, Faithfulness; Google Cloud, Gen AI evaluation service metrics