Calibração

Calibration

Métrica

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

É o grau em que a probabilidade que o modelo reporta corresponde à frequência real. Entre os casos em que o modelo disse “80% de chance de fraude”, cerca de 80% deveriam ser fraude de fato. Um modelo mal calibrado tem uma “confiança” que não significa nada. E limiares, filas de revisão e comunicação de incerteza ao usuário dependem de essa confiança ser real. Redes neurais e LLMs tendem a ser superconfiantes. A recalibração é relativamente barata e não exige retreinar o modelo.

Como usar na prática de produto

Em Produto, se o produto usa uma regra como “confiança abaixo de X vai para revisão humana”, a confiança precisa estar calibrada. Senão, a regra é arbitrária: pode enviar casos demais ou de menos para revisão. Vale pedir o diagrama de confiabilidade, que mostra, para cada faixa de confiança, a taxa real de acerto. Se a linha se afasta da diagonal, o modelo está mal calibrado. Por exemplo, a faixa de “70% a 80% de confiança” tem apenas 45% de fraudes reais: o modelo é superconfiante, e a fila de revisão está mal dimensionada.

Quando usar este termo ou outro

Use calibração sempre que a probabilidade do modelo alimenta uma decisão: limiar, fila de revisão, exibição de confiança ao usuário. Use calibração por grupo como métrica de fairness: a confiança deve significar o mesmo para todos os grupos. Use acurácia ou AUC para avaliar se o modelo acerta; calibração avalia se ele sabe quando acerta. Uma forma simples de diferenciar: acurácia é acertar; calibração é saber o quanto se acerta.

Exemplos de aplicação

Fila de revisão: confiança calibrada para que “abaixo de 70%” signifique de fato incerteza.
Superconfiança: detectar que o modelo reporta 90% e acerta 60%.
Exibição ao usuário: mostrar “alta confiança” só quando a taxa real de acerto é alta.
Fairness: verificar se a calibração é a mesma entre grupos de usuários.
Recalibração: ajustar as probabilidades sem retreinar o modelo.

Como calcular

Fórmula (ECE, Expected Calibration Error): ECE = soma, para cada faixa de confiança, de (número de casos na faixa ÷ total) × |confiança média da faixa − frequência real de positivos na faixa|. Passo a passo: 1. Agrupe as previsões por faixa de confiança (0-10%, 10-20%, ..., 90-100%). 2. Em cada faixa, calcule a confiança média que o modelo reportou e a proporção real de casos positivos. 3. Calcule a diferença absoluta entre as duas em cada faixa. 4. Faça a média ponderada pelo número de casos em cada faixa. Exemplo: Na faixa de 70% a 80%, o modelo reportou confiança média de 75%, mas apenas 45% dos casos eram positivos. A diferença de 30 pontos nessa faixa contribui para um ECE alto. Como interpretar: Quanto menor o ECE, melhor. Abaixo de 0,05 é considerado bom. Uma alternativa é o Brier score, que é a média do quadrado da diferença entre a probabilidade prevista e o resultado real (0 ou 1), combinando calibração e capacidade de discriminação.

Origem do termo

Estatística de previsão probabilística (Brier, 1950); diagramas de confiabilidade e ECE (Guo et al., 2017) para redes neurais.

Fonte técnica

Guo et al., On Calibration of Modern Neural Networks (2017); Google Machine Learning Glossary