ROC AUC

Area Under the ROC Curve (ROC AUC) / PR AUC

Métrica

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

A curva ROC mostra, para todos os limiares possíveis, a taxa de verdadeiros positivos contra a taxa de falsos positivos. A área sob essa curva (AUC) resume a capacidade do modelo de separar as classes, independentemente do limiar escolhido: 0,5 equivale a um sorteio; 1,0 é separação perfeita. A PR AUC (área sob a curva de precisão-recall) é uma alternativa mais informativa quando a classe positiva é muito rara, situação em que a ROC AUC tende a parecer otimista. Ambas avaliam o modelo em si, não o produto que usa o modelo.

Como usar na prática de produto

Em Produto, a AUC serve para comparar modelos antes de escolher o limiar e para verificar se o modelo tem algo a oferecer. Não diz como o produto vai se comportar: isso depende do limiar. Um modelo com AUC de 0,90 pode virar precisão de 0,60 ou de 0,85 conforme onde o corte é feito. A AUC diz que o potencial existe; o limiar realiza esse potencial de uma forma ou de outra. Por exemplo, um modelo de fraude com ROC AUC de 0,94 e PR AUC de 0,61: separa bem as classes em geral, mas na região que importa, com poucos positivos, a precisão é modesta.

Quando usar este termo ou outro

Use ROC AUC para avaliar e comparar modelos de forma independente do limiar. Use PR AUC quando a classe positiva é rara, como fraude ou falha. Use precisão e recall no limiar escolhido para avaliar o produto de fato. Uma forma simples de diferenciar: AUC avalia o modelo; precisão e recall no limiar avaliam o produto.

Exemplos de aplicação

Comparação de modelos: escolher entre candidatos pela AUC antes de definir o limiar.
Classes raras: usar PR AUC para fraude, falha ou doença rara.
Validação: confirmar que o modelo é melhor do que o acaso (AUC bem acima de 0,5).
Comunicação: explicar que AUC alta não garante precisão alta no produto.
Escolha de limiar: usar a curva para ver o trade-off entre os dois tipos de erro.

Como calcular

Como calcular: Para cada limiar possível, calcule a taxa de verdadeiros positivos (recall) e a taxa de falsos positivos (falsos positivos ÷ total de negativos). Plote os pares em um gráfico, com a taxa de falsos positivos no eixo horizontal e a de verdadeiros positivos no vertical. A AUC é a área sob a curva resultante, calculada numericamente pelas bibliotecas de ML. Passo a passo: 1. Obtenha as pontuações do modelo para todos os casos do teste. 2. Varie o limiar de 0 a 1 e calcule as duas taxas em cada ponto. 3. Trace a curva e calcule a área. 4. Para a PR AUC, use recall no eixo horizontal e precisão no vertical. Exemplo: Modelo de fraude com ROC AUC de 0,94 e PR AUC de 0,61. A ROC alta indica boa separação geral; a PR mais baixa indica que, na faixa de poucos positivos, a precisão é limitada. Como interpretar: A AUC tem uma leitura direta: é a probabilidade de o modelo dar pontuação mais alta a um caso positivo escolhido ao acaso do que a um negativo escolhido ao acaso. AUC de 0,94 significa 94% de chance de ordenar corretamente um par.

Origem do termo

Curva ROC vem da teoria de detecção de sinais em radares (anos 1940); AUC como métrica de ML consolidada nos anos 1990.

Fonte técnica

Google Machine Learning Crash Course, Classification: ROC and AUC; Fawcett, An Introduction to ROC Analysis (2006)