Monitoramento e alerta

É a prática de acompanhar métricas ao longo do tempo e disparar alertas quando saem da faixa esperada. Em IA, além dos sinais técnicos (latência, erros, custo), monitoram-se sinais de qualidade: taxa de recusa, fidelidade amostrada, feedback negativo, drift nas entradas. A diferença para sistemas tradicionais é que um modelo pode degradar sem que nada “quebre”: ele continua respondendo, só que pior. Por isso, o monitoramento de IA precisa olhar para a qualidade, e não apenas para a disponibilidade.

Em Produto, vale definir antes do lançamento os 5 a 8 sinais que dizem se a capacidade está saudável, e o limiar de cada um. Esses sinais devem incluir métricas de qualidade, não só de infraestrutura. Alerte por sintoma que o usuário sente (latência, erro, qualidade), e não por causa interna. E revise os alertas mensalmente: alerta que ninguém age em cima é ruído que esconde os alertas importantes. Por exemplo, um alerta quando a taxa de respostas “não encontrei” passa de 15%: sinal de índice desatualizado ou de perguntas novas que a base não cobre.

Use monitoramento contínuo para detectar degradação em produção. Use eval periódico para medir a qualidade em profundidade. Use incidente e post-mortem para corrigir de forma duradoura o que o monitoramento detectou. Uma forma simples de diferenciar: monitoramento detecta; eval mede; post-mortem corrige a causa.

Operações de TI clássicas; formalizado pelo Google SRE (2016) com a distinção entre monitorar sintomas e causas.

Google SRE Book, Monitoring Distributed Systems