Acurácia

Accuracy

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

É a proporção de previsões corretas sobre o total de previsões. É a métrica mais simples e intuitiva de classificação, e também a mais enganosa em situações comuns. O problema aparece em classes desbalanceadas. Se 98% das transações são legítimas, um modelo que diz “legítima” para tudo tem 98% de acurácia e nenhuma utilidade. Além disso, uma acurácia global boa pode esconder desempenho ruim para um grupo específico de usuários.

Como usar na prática de produto

Em Produto, a acurácia nunca deve ser aceita como métrica única. Vale perguntar a distribuição das classes e pedir precisão e recall junto. Também vale pedir o desempenho por segmento (região, faixa etária, tipo de cliente). É onde os vieses aparecem, e onde uma métrica global boa esconde uma experiência ruim para um grupo. Por exemplo, um sistema de reconhecimento facial com 99% de acurácia geral e 65% para um grupo demográfico específico: o número global não revelava o problema.

Quando usar este termo ou outro

Use acurácia apenas quando as classes são balanceadas e os erros têm custo parecido. Use precisão, recall e F1 quando as classes são desbalanceadas ou os erros têm custos diferentes, o que é o caso na maioria dos produtos. Use desempenho por grupo sempre, para detectar disparidades. Uma forma simples de diferenciar: acurácia diz quanto o modelo acerta; precisão e recall dizem como ele erra.

Exemplos de aplicação

Fraude: acurácia de 97% que esconde um baseline trivial de 95%.
Reconhecimento facial: acurácia global alta e desempenho ruim para um grupo.
Classificação balanceada: acurácia útil quando as classes têm tamanhos parecidos.
Comunicação: explicar a stakeholders por que “97% de acurácia” pode não significar muito.
Segmentação: sempre reportar a acurácia por grupo relevante.

Como calcular

Fórmula: Acurácia = (verdadeiros positivos + verdadeiros negativos) ÷ total de casos. Passo a passo: 1. Monte a matriz de confusão. 2. Some os acertos: verdadeiros positivos e verdadeiros negativos. 3. Divida pelo total de casos. 4. Compare com o baseline trivial: a acurácia de prever sempre a classe mais comum. Exemplo: Com 40 verdadeiros positivos e 930 verdadeiros negativos em 1.000 casos, a acurácia é (40 + 930) ÷ 1.000 = 0,97, ou 97%. Mas prever “não fraude” para tudo daria 950 ÷ 1.000 = 95%. O modelo adicionou apenas 2 pontos em acurácia, apesar de capturar 40 das 50 fraudes. Como interpretar: Se a acurácia do modelo está próxima do baseline trivial, ela não diz nada sobre a utilidade do modelo. Olhe precisão e recall.

Origem do termo

Métrica mais antiga e mais simples de classificação.

Fonte técnica

Google Machine Learning Crash Course, Classification: accuracy