Conjunto de avaliação

É o conjunto congelado e versionado de casos de teste usado no eval: para cada caso, a entrada, o contexto, a saída esperada (ou os critérios que ela deve atender) e, para os casos difíceis, a explicação do porquê. Deve conter casos reais e difíceis, incluindo os que já viraram reclamação, e não apenas os fáceis. O golden set é a parte de maior confiança, revisada por especialistas. É o ativo mais valioso de um time de produto com IA, mais valioso que o prompt: prompts se reescrevem em horas; um bom conjunto de avaliação leva meses para amadurecer.

Em Produto, vale começar com 30 a 100 casos, incluindo os que deram problema, os de borda e os adversariais. O conjunto precisa ser congelado e versionado, e não pode ser usado para escrever o prompt, senão vira treino e deixa de medir. Vale também renová-lo continuamente com casos de produção. A fila de revisão humana é a fonte natural: cada caso que exigiu correção é candidato a entrar. Por exemplo, 30 comunicações reais sobre ocorrências, incluindo as que viraram disputa, cada uma com a descrição do que a mensagem tinha que dizer.

Use conjunto de avaliação para validar mudanças no seu produto. Use benchmark público para comparar modelos em geral, nunca para decidir o seu caso. Use casos de regressão, dentro do conjunto, para garantir que o que funcionava continua funcionando. Uma forma simples de diferenciar: benchmark diz qual modelo é bom em geral; eval set diz qual é bom para você.

Equivalente ao conjunto de teste do ML clássico; 'golden set' vem de QA de software (golden master).

Hamel Husain, Your AI Product Needs Evals; Anthropic docs, Create strong empirical evaluations