Eval

É a prática de medir, de forma sistemática e repetível, se uma capacidade de IA faz o que deveria. Consiste em rodar um conjunto de casos com saída esperada, comparar o resultado com critérios explícitos e obter uma taxa de acerto. Não é um teste único antes do lançamento. É uma disciplina contínua: toda mudança de prompt, modelo ou base de conhecimento reexecuta o conjunto, para garantir que o que funcionava continua funcionando. Sem eval, uma melhoria em um caso pode quebrar outro em silêncio, e ninguém descobre até o usuário reclamar.

Em Produto, o eval é o investimento com melhor retorno em produtos de IA, e também o mais negligenciado. Trinta casos difíceis reais, com a saída esperada descrita, levam uma tarde para montar e respondem com evidência se trocar de modelo melhorou ou piorou. Sem isso, a resposta a “ficou melhor?” é a opinião de quem leu três exemplos. O time de Produto é dono do eval, porque é quem define o que “bom” significa. A Engenharia automatiza a execução; Produto define os casos e os critérios.

Use eval offline, sobre um conjunto fixo, para toda mudança antes de ir para produção. Use eval online, sobre tráfego real com amostragem humana, para detectar degradação ao longo do tempo. Use teste A/B para medir o efeito de uma mudança no comportamento do usuário. Uma forma simples de diferenciar: eval offline responde “a mudança é segura?”; eval online responde “o produto continua bom?”; A/B responde “o usuário reagiu melhor?”.

'Eval' é jargão de pesquisa em ML adotado pela indústria de LLMs (OpenAI Evals, 2023); a disciplina de evals para produto foi articulada por Hamel Husain e outros (2024).

Hamel Husain, Your AI Product Needs Evals (2024); OpenAI Platform docs, Evals; Anthropic docs, Define success criteria