LLM como juiz

É a técnica de usar um modelo de linguagem para avaliar as saídas de outro modelo (ou do mesmo), seguindo uma rubrica: fidelidade à fonte, completude, tom, conformidade com regras. Permite avaliar milhares de casos automaticamente, o que seria inviável com pessoas. Precisa ser calibrado contra a avaliação humana e tem vieses conhecidos: tende a preferir respostas mais longas, a favorecer modelos da própria família e a ser sensível à ordem quando compara duas respostas. É o que torna o eval em escala viável em produtos com LLM.

Em Produto, a regra é: o juiz só vale depois de concordar com humanos em uma amostra. É preciso medir essa concordância e só confiar no juiz quando ela é alta. Critérios separados, com um juiz por critério, funcionam melhor do que pedir “uma nota geral”. E quando o juiz e os humanos divergem sistematicamente, o que precisa ser revisado é o critério, não o juiz. Por exemplo, um juiz avalia “a resposta cita apenas cláusulas presentes nos trechos fornecidos?” em 5 mil respostas, com concordância de 91% com avaliadores humanos na amostra de calibração.

Use LLM como juiz para volume, sobre critérios verificáveis e bem definidos. Use avaliação humana para calibrar o juiz e para critérios subjetivos. Use métrica determinística (formato válido, valor exato) sempre que possível: é mais barata e não tem viés. Uma forma simples de diferenciar: código verifica o objetivo; juiz avalia o texto; humano define o que é bom.

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (2023).

Zheng et al., Judging LLM-as-a-Judge (2023); Ragas documentation