Incident / Severity / Postmortem
Incidente é um evento que degrada o serviço além do aceitável. Severidade é a classificação por impacto: um SEV1 afeta todos os usuários ou envolve dados sensíveis; um SEV3 é localizado e contornável.
Post-mortem é a análise escrita feita após o incidente: linha do tempo, causa raiz, o que funcionou, o que não funcionou e ações de prevenção. É feito sem atribuir culpa a pessoas, para que a organização aprenda em vez de esconder.
Em IA, incidentes incluem resposta ofensiva, vazamento de dados pessoais, alucinação em tema regulado e agente que executou uma ação indevida.
Observabilidade e operaçãoOperação
Monitoring / Alerting
É a prática de acompanhar métricas ao longo do tempo e disparar alertas quando saem da faixa esperada. Em IA, além dos sinais técnicos (latência, erros, custo), monitoram-se sinais de qualidade: taxa de recusa, fidelidade amostrada, feedback negativo, drift nas entradas.
A diferença para sistemas tradicionais é que um modelo pode degradar sem que nada “quebre”: ele continua respondendo, só que pior.
Por isso, o monitoramento de IA precisa olhar para a qualidade, e não apenas para a disponibilidade.
Observabilidade e operaçãoMonitoramento
Mean Time to Recovery / Mean Time Between Failures
MTTR (tempo médio de recuperação) é o tempo médio entre o início de um incidente e a recuperação do serviço. Mede a capacidade de reagir. MTBF (tempo médio entre falhas) é o tempo médio entre um incidente e o próximo. Mede a estabilidade.
Para IA, vale acompanhar também o MTTD (tempo médio de detecção): degradações de qualidade costumam ser detectadas tarde, porque nada “cai”; o sistema apenas responde pior.
São métricas clássicas de confiabilidade que se aplicam integralmente a produtos com IA.
Observabilidade e operaçãoOperação
Observability
É a capacidade de entender o que um sistema está fazendo por dentro a partir do que ele emite por fora. Os três pilares clássicos são logs (registros de eventos), métricas (números acompanhados ao longo do tempo) e traces (o caminho completo de cada requisição pelo sistema).
Em sistemas de IA, a observabilidade inclui registrar, para cada interação, o prompt enviado, o contexto recuperado, a resposta gerada, as ferramentas chamadas, os tokens consumidos, a latência e o custo.
Sem isso, um erro do modelo é irreproduzível: ninguém sabe o que ele viu quando errou.
Observabilidade e operaçãoObservabilidade
Runbook / Playbook
É um documento com procedimentos passo a passo para situações operacionais previstas: o que fazer quando o fornecedor de modelo cai, quando a taxa de alucinação sobe, quando o custo dispara, como fazer rollback de um prompt, como reindexar a base.
É escrito antes do incidente, com calma, para ser seguido sob pressão, quando não há tempo de pensar.
Toda capacidade em produção deveria ter um runbook para seus cenários de falha mais prováveis.
Observabilidade e operaçãoOperação
Service Level Indicator / Objective / Agreement
SLI (indicador de nível de serviço) é a métrica medida: latência p95, disponibilidade, taxa de respostas fiéis. SLO (objetivo de nível de serviço) é a meta interna para o indicador: “p95 abaixo de 3 segundos em 99% do tempo”. SLA (acordo de nível de serviço) é o compromisso contratual, com consequências se violado, e sempre mais frouxo do que o SLO.
Para IA, indicadores de qualidade (fidelidade, taxa de sucesso) entram ao lado dos técnicos.
O error budget, derivado do SLO, é a “margem de erro” que o time pode gastar: dentro dela, experimenta; fora dela, estabiliza.
Observabilidade e operaçãoMonitoramento
Trace / Span
Trace é o registro completo de uma requisição do início ao fim, atravessando todos os componentes do sistema. Span é cada etapa dentro desse registro: uma chamada ao modelo, uma busca no índice, a execução de uma ferramenta. Cada span tem início, duração, entradas, saídas e erros.
Em agentes, o trace de uma única tarefa pode ter dezenas de spans aninhados, um para cada passo do raciocínio e cada ferramenta usada.
É a unidade básica de depuração em sistemas de IA.
Observabilidade e operaçãoObservabilidade
Agent Tracing / LLM Observability
É a aplicação de traces e spans às interações com modelos de IA. Cada chamada ao modelo registra o prompt, os parâmetros, a resposta, os tokens e o custo. Cada ferramenta registra os argumentos e o resultado. Cada passo do loop de um agente vira um span.
Permite reproduzir uma sessão inteira, comparar versões de prompt e alimentar evals com casos reais.
Plataformas especializadas surgiram para isso a partir de 2023, e o OpenTelemetry padronizou as convenções em 2024.
Observabilidade e operaçãoObservabilidade
