Detecção de anomalias

É a tarefa de identificar observações que fogem do padrão esperado: uma transação muito diferente das habituais, um consumo fora da curva, um sensor com leitura estranha, um acesso em horário incomum. Pode ser feita de duas formas. Na abordagem supervisionada, o modelo aprende com exemplos de anomalias já conhecidas. Na não supervisionada, mais comum, o modelo aprende como é o comportamento normal e sinaliza tudo o que se afasta dele, o que permite detectar situações que nunca aconteceram antes. Um ponto importante: anomalia não significa erro ou fraude. Significa apenas “diferente do esperado”. O que fazer com essa informação é uma decisão separada.

Em Produto, detecção de anomalias é útil para monitoramento, prevenção de fraudes, qualidade e segurança. Ela permite reagir a situações inesperadas sem que alguém precise definir antecipadamente todas as regras. O cuidado é com o que acontece depois do alerta. Se o sistema apenas gera avisos, sem um fluxo claro para investigá-los, eles viram ruído e param de ser olhados. O produto precisa de um passo humano ou automático que decida o que fazer com cada anomalia: bloquear, investigar, avisar ou ignorar. Também vale calibrar a sensibilidade. Um detector muito sensível gera falsos alarmes demais; um pouco sensível deixa passar o que importa. Essa calibração depende do custo de cada tipo de erro no seu contexto.

Use detecção de anomalias quando o objetivo é encontrar o que é raro ou inesperado e não existem exemplos suficientes desses casos para treinar um classificador. Use classificação quando há histórico rotulado do evento que se quer detectar, como fraudes já confirmadas. Use monitoramento com regras quando os limites são conhecidos e simples, como “alertar se o erro passar de 5%”. Uma forma simples de diferenciar: regras detectam o que já foi previsto; classificação detecta o que já foi visto; detecção de anomalias detecta o que foge do normal, mesmo que nunca tenha acontecido.

Área da estatística (outliers, Grubbs 1969) que migrou para ML com isolation forest (Liu et al., 2008) e autoencoders.

Chandola et al., Anomaly Detection: A Survey (2009); Google Machine Learning Glossary