Red teaming

É o teste adversarial em que pessoas (ou modelos) tentam deliberadamente fazer o sistema falhar: extrair dados, burlar regras, provocar respostas nocivas, desviar o agente de sua tarefa. Difere do teste funcional, que verifica se o sistema faz o que deveria. O red teaming busca o que ninguém previu. O resultado é uma lista de vulnerabilidades com severidade, e os casos encontrados entram no conjunto de avaliação como regressão.

Em Produto, o red teaming deve acontecer antes de lançar para o público e depois de cada mudança relevante de modelo ou ferramenta. Vale incluir pessoas de fora do time técnico: atendimento, jurídico, um usuário cético. Quem conhece o domínio encontra ataques que a segurança não imagina. E vale automatizar os casos encontrados para que rodem em toda mudança. Por exemplo, uma sessão de 2 horas com 6 pessoas encontra 14 formas de extrair o system prompt e 3 de obter dados de outro cliente.

Use red teaming para descobrir falhas que ninguém previu. Use eval de segurança para garantir que as falhas descobertas não voltam. Use bug bounty para escalar a busca com pessoas de fora. Uma forma simples de diferenciar: red teaming descobre; eval de segurança vigia; bug bounty amplia.

Simulações militares da Guerra Fria; adotado pela segurança da informação e, em 2022-2023, pelos laboratórios de IA como etapa obrigatória antes de lançar modelos.

NIST AI RMF 1.0, Measure; OWASP LLM AI Security & Governance Checklist; Anthropic, Challenges in Red Teaming AI Systems