Relevância da resposta
Answer Relevance
Métrica
IntermediárioCategoria: Evals, testes e métricasSubcategoria: Métricas de geração de texto
O que significa
É a medida de quão diretamente a resposta atende à pergunta feita, sem desvios, redundâncias ou omissões. Complementa a fidelidade: uma resposta pode ser 100% fiel ao contexto e, mesmo assim, não responder ao que foi perguntado.
Pode ser avaliada por juiz (humano ou LLM) com rubrica, ou por um método automático que gera perguntas a partir da resposta e compara com a pergunta original.
Um sintoma comum de relevância baixa é o modelo responder à pergunta que gostaria de ter recebido, e não à que recebeu.
Como usar na prática de produto
Em Produto, a relevância deve ser medida junto com fidelidade e completude. Os três formam a rubrica mínima de qualquer eval de RAG ou assistente.
A combinação dos resultados aponta para a correção: resposta relevante e infiel é alucinação; resposta fiel e irrelevante é recuperação ruim ou prompt mal instruído.
Por exemplo, à pergunta “posso devolver em outra cidade?”, o assistente explica horários de devolução. É fiel aos trechos, mas a relevância é baixa: não respondeu ao que foi perguntado.
Quando usar este termo ou outro
Use relevância junto com fidelidade e completude como trio mínimo de avaliação de assistentes.
Use fidelidade para saber se a resposta está ancorada na fonte.
Use completude para saber se a resposta cobre tudo o que a pergunta exigia.
Uma forma simples de diferenciar: relevância é “responde ao que perguntei?”; fidelidade é “com base na fonte?”; completude é “por inteiro?”.
Exemplos de aplicação
- Atendimento: detectar respostas que mudam de assunto em relação à pergunta.
- Rubrica: incluir relevância como critério separado no eval.
- Diagnóstico: cruzar relevância com fidelidade para identificar a causa do problema.
- Base de conhecimento: descobrir perguntas frequentes que a base não cobre.
- Juiz automático: avaliar relevância em escala com calibração humana.
Como calcular
Método por rubrica:
Um juiz (humano ou LLM) avalia “a resposta responde diretamente ao que foi perguntado?” em escala binária (sim/não) ou de 1 a 5. Relevância = média normalizada das notas sobre o conjunto.
Método automático (Ragas):
1. A partir da resposta, gere algumas perguntas que ela responderia.
2. Calcule a similaridade (de embeddings) entre cada pergunta gerada e a pergunta original.
3. Relevância = média das similaridades (de 0 a 1).
Exemplo:
Pergunta: “posso devolver em outra cidade?”. Resposta sobre horários de devolução. As perguntas geradas a partir da resposta (“qual o horário de devolução?”) têm baixa similaridade com a original. Relevância baixa.
Como interpretar:
Relevância baixa com fidelidade alta indica que o sistema está respondendo a outra coisa: revise a recuperação ou o prompt. Relevância baixa em muitos casos do mesmo tipo indica lacuna na base de conhecimento.
Origem do termo
Framework Ragas (2023).
Fonte técnica
Ragas documentation, Answer Relevance