Avaliação humana

É a avaliação em que pessoas, idealmente especialistas do domínio, julgam as saídas do sistema contra critérios explícitos. É a referência contra a qual toda avaliação automática precisa ser calibrada. É cara e lenta, por isso é usada em amostra: uma fatia aleatória revisada regularmente, que alimenta o conjunto de avaliação e calibra o juiz automático. Não existe eval sem humano em algum ponto: alguém definiu o que é uma boa resposta.

Em Produto, a avaliação humana precisa ser estruturada para funcionar. Isso significa rubrica com critérios separados, escala definida e exemplos de cada nota, e medição da concordância entre avaliadores. Se dois especialistas discordam em 30% dos casos, o problema é o critério, que está mal definido, e não o modelo. Refinar o critério é o primeiro passo. Por exemplo, 50 respostas por semana revisadas por dois atendentes experientes com rubrica de cinco critérios, e a concordância entre eles medida e acompanhada.

Use avaliação humana em amostra, sempre, como referência de qualidade. Use avaliação automatizada no volume, calibrada contra a humana. Use divergência sistemática entre as duas como sinal para revisar o critério. Uma forma simples de diferenciar: humanos definem o padrão; máquinas aplicam o padrão em escala.

Padrão-ouro de avaliação em NLP desde sempre; formalizada em rubricas e protocolos de anotação.

Anthropic docs, Create strong empirical evaluations; Hamel Husain, Your AI Product Needs Evals