Benchmark

É um conjunto de testes padronizado e público, usado para comparar modelos entre si em tarefas gerais: raciocínio, código, conhecimento, matemática. Os rankings de modelos que aparecem na imprensa e nos anúncios de fornecedores são baseados em benchmarks. São úteis para a triagem inicial de fornecedores. Mas não servem para decidir se um modelo atende ao seu caso: o benchmark não contém o seu domínio, o seu vocabulário nem os seus casos difíceis, e os modelos são otimizados para pontuar bem neles. Um modelo três pontos acima no ranking pode ser pior nas suas 80 perguntas reais.

Em Produto, o uso correto é: benchmarks para reduzir a lista de candidatos; conjunto de avaliação próprio para escolher. Vale desconfiar de qualquer decisão de fornecedor baseada só em benchmark. É comum que três modelos com pontuação parecida no ranking se comportem de forma muito diferente em um domínio específico. Por exemplo, três modelos com resultados próximos no benchmark; no eval interno, um deles erra sistematicamente valores em reais.

Use benchmark para triagem inicial e para acompanhar a evolução geral dos modelos. Use conjunto de avaliação próprio para qualquer decisão sobre o seu produto. Sempre os dois, nessa ordem: benchmark reduz a lista; eval escolhe. Uma forma simples de diferenciar: benchmark é a prova padronizada; eval é a entrevista para a vaga específica.

Conjuntos padronizados de avaliação em ML (ImageNet, 2009; GLUE, 2018; MMLU, 2020); rankings públicos como LMSYS Arena (2023).

Hendrycks et al., MMLU (2020); LMSYS Chatbot Arena; Google Machine Learning Glossary