Rubrica de avaliação

É a definição explícita dos critérios de qualidade e de como pontuar cada um, separadamente: fidelidade à fonte, ausência de invenção, completude, tom, conformidade com a política, formato. Cada critério tem uma escala (binária ou graduada), uma descrição de cada nível e exemplos. Não existe “acurácia” única quando a saída é texto; existe um conjunto de critérios avaliados um a um. É o instrumento que torna a avaliação de texto objetiva e comparável entre pessoas e entre versões.

Em Produto, quem pergunta “qual a acurácia do assistente?” está fazendo a pergunta errada. A rubrica é a resposta certa: “fidelidade 96%, completude 88%, tom 94%”. Critérios separados dizem onde melhorar; uma nota geral esconde os problemas. E critérios binários e verificáveis (“toda afirmação está nos trechos? sim ou não”) funcionam melhor do que escalas de 1 a 5 subjetivas. Por exemplo, o critério “ausência de invenção” recebe 1 se toda afirmação factual está nos trechos fornecidos e 0 caso contrário.

Use rubrica para qualquer saída em texto livre. Use métrica numérica direta para classificação e previsão, em que a resposta é certa ou errada. Use critério de aceitação como o limiar da rubrica que define aprovado ou reprovado. Uma forma simples de diferenciar: rubrica decompõe a qualidade; critério de aceitação define o mínimo.

Instrumento pedagógico (avaliação educacional, anos 1970-80) adotado pela avaliação de LLMs para tornar critérios explícitos.

Anthropic docs, Define your success criteria; Hamel Husain, Your AI Product Needs Evals