Erro médio absoluto e RMSE

Mean Absolute Error (MAE) / Root Mean Squared Error (RMSE)

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de regressão

O que significa

São as métricas padrão para avaliar previsões numéricas. O erro médio absoluto (MAE) é a média das diferenças, em valor absoluto, entre o previsto e o real: “em média, o modelo erra R$ 180”. O RMSE é a raiz quadrada da média dos erros ao quadrado: penaliza erros grandes mais do que pequenos, e por isso fica maior que o MAE quando há casos com erro muito alto. O MAPE expressa o erro em porcentagem do valor real, útil quando a escala varia muito entre casos. Juntas, essas métricas dizem não só quanto o modelo erra, mas se ele erra de forma uniforme ou com alguns casos muito ruins.

Como usar na prática de produto

Em Produto, o MAE é a métrica que se explica ao negócio: “erramos 180 reais em média”. O RMSE é a que revela se há erros catastróficos escondidos. Vale comparar as duas: se o RMSE é muito maior do que o MAE, alguns casos erram muito, e são esses que viram disputa com o cliente. Isso pode indicar que a saída deveria ser uma faixa, não um número. Por exemplo, um modelo de custo de reparo com MAE de R$ 130 e RMSE de R$ 164: 1 em cada 4 estimativas erra bastante, e o produto deveria apresentar uma faixa de valores em vez de um número exato.

Quando usar este termo ou outro

Use MAE para comunicar o erro ao negócio e quando o custo do erro é proporcional ao seu tamanho. Use RMSE quando erros grandes são desproporcionalmente ruins e precisam ser detectados. Use MAPE quando a escala varia muito entre casos, com cuidado para valores reais próximos de zero. Uma forma simples de diferenciar: MAE é o erro típico; RMSE denuncia os erros grandes; MAPE é o erro em porcentagem.

Exemplos de aplicação

Custo de reparo: MAE de R$ 130 e RMSE de R$ 164 indicam erros grandes em parte dos casos.
Tempo de entrega: apresentar uma faixa quando o RMSE mostra variação alta.
Demanda: comparar previsões de vendas com o realizado por MAE e MAPE.
Comunicação: explicar ao negócio o erro típico em reais ou minutos.
Investigação: identificar os casos de maior erro e entender o que têm em comum.

Como calcular

Fórmulas: MAE = (1 ÷ n) × soma de |previsto − real| para cada caso. RMSE = raiz quadrada de [(1 ÷ n) × soma de (previsto − real)² para cada caso]. MAPE = (100 ÷ n) × soma de |previsto − real| ÷ |real| para cada caso. Passo a passo: 1. Para cada caso do teste, calcule a diferença entre o valor previsto e o real. 2. Para o MAE, tome o valor absoluto de cada diferença e faça a média. 3. Para o RMSE, eleve cada diferença ao quadrado, faça a média e tire a raiz quadrada. 4. Compare os dois: RMSE muito maior que MAE indica erros grandes concentrados em poucos casos. Exemplo: Quatro estimativas de reparo com erros de +100, −50, +300 e −70 reais. MAE = (100 + 50 + 300 + 70) ÷ 4 = 130. RMSE = raiz de [(10.000 + 2.500 + 90.000 + 4.900) ÷ 4] ≈ 164. O RMSE maior denuncia o erro de 300. Como interpretar: MAE de 130 significa que uma estimativa típica erra cerca de R$ 130. A diferença para o RMSE indica que alguns casos erram muito mais, e vale investigar quais e por quê.

Origem do termo

Estatística clássica; MAE e RMSE são as métricas padrão de previsão numérica.

Fonte técnica

Google Machine Learning Crash Course, Linear regression: loss; Google Machine Learning Glossary