Modelagem de ameaças e superfície de ataque

É o exercício estruturado de identificar, antes de construir, o que pode ser atacado (a superfície: entradas, ferramentas, bases de dados, integrações), por quem, como e com que impacto, para decidir quais controles cabem. Para IA, a superfície inclui tudo o que entra no contexto do modelo e tudo o que o modelo pode acionar. O resultado vira requisitos de segurança (guardrails, aprovações, escopos) e casos para o red teaming.

Em Produto, a modelagem de ameaças deve acontecer na fase de especificação, com Segurança, Engenharia e Produto na mesma sala. O exercício é listar entradas, ferramentas e dados e, para cada um, perguntar: “o que acontece se isso for malicioso?”. Uma tarde de modelagem evita meses de retrabalho e incidentes. Por exemplo, a modelagem revela que o agente lê anexos de e-mail (risco de injeção indireta) e tem ferramenta de envio (risco de exfiltração). A combinação exige aprovação humana antes de qualquer envio.

Use modelagem de ameaças antes de construir, na especificação. Use red teaming antes de lançar, para testar o que foi construído. Use incidente e post-mortem depois, para aprender com o que passou. Uma forma simples de diferenciar: modelagem prevê; red teaming testa; post-mortem aprende.

Segurança de software (Microsoft STRIDE, 1999); adaptada a IA por MITRE ATLAS (2021) e OWASP.

MITRE ATLAS; OWASP LLM AI Security & Governance Checklist; Microsoft, Threat Modeling AI/ML Systems