Baseline

Referência

Básico

Categoria: Evals, testes e métricasSubcategoria: Avaliação de sistemas de IA

O que significa

É o ponto de comparação contra o qual se mede o ganho de uma solução: o que já acontece hoje sem o modelo (processo manual, regra atual, modelo anterior) ou um modelo trivial (prever sempre a classe mais comum, prever a média). Sem baseline não existe ganho demonstrável; existe entusiasmo. O baseline não é “zero”. É a operação de hoje, com seus acertos e seus custos.

Como usar na prática de produto

Em Produto, um modelo com 85% de acerto é ótimo se o processo atual tem 70% e é inútil se a regra atual já tem 90%. Medir o baseline antes de começar é o que permite saber a diferença. Vale também comparar não só a qualidade, mas o tempo e o custo. Muitas vezes, o ganho real de uma capacidade de IA está na velocidade ou na escala, não na acurácia. Por exemplo, um atendente classifica um chamado em 40 segundos com 88% de acerto; o modelo faz em 0,5 segundo com 91%. O ganho relevante está no tempo, e a acurácia é apenas comparável.

Quando usar este termo ou outro

Use baseline em toda proposta de capacidade, definido no PRD antes de construir. Use baseline trivial (classe majoritária, média) como piso mínimo de qualquer modelo. Use baseline operacional (processo atual) como a comparação que importa para o negócio. Uma forma simples de diferenciar: baseline trivial diz se o modelo aprendeu alguma coisa; baseline operacional diz se vale a pena.

Exemplos de aplicação

Atendimento: comparar o classificador com a triagem manual em tempo e acerto.
Fraude: verificar se o modelo supera o baseline trivial de “nunca é fraude”.
PRD: registrar o baseline antes de aprovar a construção.
Comunicação: apresentar o ganho como diferença em relação ao que existe hoje.
Custo: incluir o custo do processo atual na comparação.

Como calcular

Fórmula: Ganho absoluto = métrica da solução − métrica do baseline. Ganho relativo = ganho absoluto ÷ métrica do baseline. Passo a passo: 1. Meça a métrica do processo atual (ou do modelo anterior) nos mesmos casos em que o novo modelo será avaliado. 2. Meça a métrica da solução proposta. 3. Calcule o ganho absoluto e o relativo. 4. Para classificação, calcule também o baseline trivial: a taxa de acerto de prever sempre a classe mais comum. Exemplo: Se 95% das transações não são fraude, prever sempre “não fraude” já acerta 95%. Um modelo com 96% de acurácia adicionou apenas 1 ponto sobre o trivial. Por isso acurácia engana em classes desbalanceadas, e precisão e recall são mais informativos. Como interpretar: Compare sempre com o baseline operacional para decisões de negócio, e com o trivial para saber se o modelo aprendeu algo útil.

Origem do termo

Conceito de experimentação científica; em ML, o modelo simples contra o qual se compara qualquer proposta.

Fonte técnica

Google Machine Learning Crash Course; Google Machine Learning Glossary