Matriz de confusão

Confusion Matrix

Artefato

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

É uma tabela que cruza o que o modelo previu com o que era verdade. Para uma classificação com duas classes, tem quatro células: verdadeiro positivo (o modelo disse “sim” e era “sim”), falso positivo (disse “sim”, mas era “não”), verdadeiro negativo (disse “não” e era “não”) e falso negativo (disse “não”, mas era “sim”). Toda métrica de classificação, como acurácia, precisão e recall, é uma conta feita sobre essas quatro células. É o instrumento mais básico e mais útil para entender como um modelo erra, e não apenas quanto ele erra.

Como usar na prática de produto

Em Produto, a matriz de confusão é a base da conversa mais importante sobre um classificador: falso positivo e falso negativo custam coisas diferentes. Barrar um cliente legítimo e liberar uma fraude não são o mesmo erro, e a matriz mostra quantos de cada tipo o modelo comete. Por isso, vale pedir a matriz, e não apenas a acurácia. Ela revela onde o modelo confunde as classes, e é ali que o esforço de melhoria deve ir. Por exemplo, a matriz mostra que o modelo confunde “dano” com “desgaste natural” em 18% dos casos: é nesse par de classes que o retreino precisa focar.

Quando usar este termo ou outro

Use matriz de confusão para entender os tipos de erro do modelo. Use precisão, recall e F1 para resumir a matriz em números comparáveis. Use a curva ROC ou de precisão-recall para escolher o limiar de decisão. Uma forma simples de diferenciar: a matriz mostra os erros; as métricas resumem; o limiar decide.

Exemplos de aplicação

Fraude: ver quantos clientes legítimos foram bloqueados e quantas fraudes passaram.
Atendimento: identificar quais categorias de chamado o modelo mais confunde entre si.
Imagens: descobrir que “dano” e “desgaste” são confundidos com frequência.
Priorização: concentrar o retreino no par de classes com mais erros.
Comunicação: apresentar a matriz a stakeholders para explicar os erros do modelo.

Como calcular

Como montar: Monte uma tabela 2×2 (ou N×N para várias classes) contando os casos do conjunto de teste em cada célula: linhas para o valor real, colunas para o valor previsto. Passo a passo: 1. Rode o modelo sobre o conjunto de teste, que tem a resposta correta de cada caso. 2. Para cada caso, registre o par (real, previsto). 3. Conte quantos casos caem em cada combinação. Exemplo: Em 1.000 transações, 50 são fraudes reais. O modelo marca 60 como fraude, das quais 40 são fraude de fato. Então: verdadeiros positivos = 40; falsos positivos = 20 (marcadas como fraude, mas legítimas); falsos negativos = 10 (fraudes que passaram); verdadeiros negativos = 930. Como interpretar: Os falsos positivos são clientes legítimos incomodados; os falsos negativos são fraudes não detectadas. O peso de cada um depende do negócio, e é isso que orienta o ajuste do modelo e do limiar.

Origem do termo

Estatística e teoria de detecção de sinais (anos 1950); base de todas as métricas de classificação.

Fonte técnica

Google Machine Learning Crash Course, Classification: accuracy, recall, precision