Incidente, severidade e post-mortem

Incidente é um evento que degrada o serviço além do aceitável. Severidade é a classificação por impacto: um SEV1 afeta todos os usuários ou envolve dados sensíveis; um SEV3 é localizado e contornável. Post-mortem é a análise escrita feita após o incidente: linha do tempo, causa raiz, o que funcionou, o que não funcionou e ações de prevenção. É feito sem atribuir culpa a pessoas, para que a organização aprenda em vez de esconder. Em IA, incidentes incluem resposta ofensiva, vazamento de dados pessoais, alucinação em tema regulado e agente que executou uma ação indevida.

Em Produto, vale definir as severidades para os cenários de IA antes de lançar. Uma resposta ofensiva que viralizou é SEV1? Uma alucinação sobre valor de contrato é SEV2? Essas classificações orientam a resposta. O post-mortem alimenta o conjunto de avaliação: todo incidente vira um caso de teste permanente, para garantir que não se repita. Por exemplo, um SEV2 em que o assistente citou uma cláusula inexistente para 40 clientes. O post-mortem revelou um chunk truncado no meio de uma tabela; as ações foram mudar o chunking por seção e criar um teste de regressão.

Use incidente para o que já aconteceu e precisa de resposta imediata. Use modelagem de ameaças para o que pode acontecer e precisa de prevenção. Use runbook para responder rápido a cenários conhecidos. Uma forma simples de diferenciar: severidade define a urgência; post-mortem define o aprendizado; runbook define a resposta.

Gestão de incidentes de TI (ITIL, anos 1980-90); post-mortem sem culpa (blameless) do Google SRE (2016).

Google SRE Book, Postmortem Culture: Learning from Failure