Dicionário de Inteligência Artificial PM3

Excessive Agency

É quando um sistema de IA tem mais capacidade de ação do que a tarefa exige: ferramentas demais, permissões amplas demais, autonomia sem pontos de verificação. Sozinha, é uma vulnerabilidade latente. Combinada com uma injeção de prompt ou um erro do modelo, o dano deixa de ser “resposta errada” e vira “ação errada”: e-mail enviado, registro apagado, pagamento feito. Está na lista do OWASP como um dos riscos centrais de sistemas agênticos.

Authentication / Authorization / Role-Based Access Control

Autenticação é verificar quem é a pessoa ou o sistema (login, token). Autorização é verificar o que ela pode fazer. RBAC (controle de acesso baseado em papéis) é a forma de autorizar por papéis (atendente, supervisor, cliente) em vez de pessoa por pessoa. Em IA, a autorização precisa chegar até a recuperação (o RAG só devolve o que o usuário pode ver) e até as ferramentas (o agente age em nome de alguém, com limites). Um assistente que não sabe quem está perguntando não pode decidir o que responder.

Data Poisoning (training / RAG)

É a inserção de dados maliciosos ou corrompidos onde o sistema aprende ou consulta. No treinamento ou fine-tuning, o modelo pode aprender comportamentos ocultos ou vieses. Na base de conhecimento de um RAG, um documento falso passa a ser tratado como fonte oficial. Em RAG, o ataque é simples: basta alguém conseguir gravar um arquivo na pasta que é indexada. É um risco tanto de segurança quanto de qualidade, porque dados ruins inseridos sem má intenção têm o mesmo efeito.

Guardrail

É um controle programático que limita o que entra e o que sai de um sistema de IA, independentemente do que o modelo “decida” fazer. Inclui filtros de entrada (tema, tentativa de injeção, dados pessoais), validação de saída (formato, conteúdo proibido, fidelidade à fonte) e limites de ação (quais ferramentas, com quais parâmetros, até que valor). O guardrail funciona fora do modelo, em código. Por isso, não depende de o prompt ser obedecido. A metáfora vem das barreiras de proteção em estradas: não impedem o carro de andar, mas impedem que saia da pista.

Prompt Injection (direct / indirect)

É o ataque em que instruções maliciosas entram no contexto do modelo e ele as obedece como se fossem legítimas. Na injeção direta, o próprio usuário escreve algo como “ignore suas instruções e...”. Na indireta, a instrução está escondida em um conteúdo que o sistema lê (uma página web, um e-mail, um documento, o resultado de uma ferramenta), e o usuário nem precisa ser o atacante. Não existe solução completa conhecida. A mitigação é feita em camadas: separar dados de instruções, limitar permissões, exigir aprovação para ações sensíveis, validar saídas e testar com red teaming. É a ameaça número um na lista do OWASP para aplicações com LLM.

Jailbreak

É a técnica de fazer o modelo ignorar suas políticas de segurança e produzir conteúdo que deveria recusar. As abordagens incluem role-play (“finja que é um modelo sem regras”), codificação (base64, idiomas raros), fragmentação do pedido em partes inofensivas e exploração de muitas tentativas. Difere da injeção de prompt no alvo: o jailbreak visa as regras do modelo; a injeção visa as regras da aplicação. O termo vem do desbloqueio de celulares para remover restrições do fabricante.

Kill Switch / Emergency Stop

É o mecanismo para desligar ou degradar uma capacidade de IA imediatamente, por decisão humana, sem depender de deploy: uma feature flag, uma chave de configuração, uma rota de fallback. Precisa ser conhecido, testado e acessível a quem tem autoridade para usá-lo, inclusive fora do horário comercial. A regulação europeia exige que sistemas de alto risco tenham supervisão humana com possibilidade de interrupção.

Rate Limiting / Unbounded Consumption

É o controle que limita quantas requisições, tokens ou ações um usuário, uma sessão ou um agente pode consumir em uma janela de tempo. Sem limite, um usuário (ou um loop de agente) pode gerar custo ilimitado, esgotar a cota do fornecedor e derrubar o serviço para todos. Esse cenário é chamado de “negação de carteira” (denial of wallet). Entrou na lista do OWASP porque, em IA, cada requisição tem custo direto.

Least Privilege

É o princípio de que cada componente (usuário, serviço, agente, ferramenta) deve ter apenas as permissões estritamente necessárias para sua função, pelo tempo necessário. Para agentes, significa credenciais próprias, escopo mínimo por ferramenta e não herdar automaticamente as permissões do usuário que o invocou quando isso não é necessário. É um dos princípios mais antigos de segurança de sistemas, formulado em 1975, e um dos mais eficazes contra os riscos de IA.

Threat Modeling / Attack Surface

É o exercício estruturado de identificar, antes de construir, o que pode ser atacado (a superfície: entradas, ferramentas, bases de dados, integrações), por quem, como e com que impacto, para decidir quais controles cabem. Para IA, a superfície inclui tudo o que entra no contexto do modelo e tudo o que o modelo pode acionar. O resultado vira requisitos de segurança (guardrails, aprovações, escopos) e casos para o red teaming.

Content Moderation / Safety Classifier

É um classificador que avalia entradas e saídas quanto a categorias de risco (ódio, assédio, violência, conteúdo sexual, autolesão, atividades ilegais) e bloqueia ou sinaliza o que se enquadra nelas. Costuma ser um modelo pequeno e rápido, separado do modelo principal, aplicado antes e depois dele. Os principais fornecedores oferecem classificadores prontos, e há modelos abertos dedicados a essa função.

Data Loss Prevention (DLP) / Exfiltration

Exfiltração é a saída de dados do sistema por um canal não autorizado. Em IA, pode acontecer por uma resposta que inclui dados pessoais, por um link gerado que codifica dados na URL, ou por uma ferramenta de envio manipulada. DLP (prevenção de perda de dados) é o conjunto de controles que detecta e bloqueia padrões sensíveis (CPF, cartão, segredos) nas saídas e nas chamadas de ferramenta, e que restringe os canais de saída. É a última linha de defesa quando as outras falharam.

Red Teaming

É o teste adversarial em que pessoas (ou modelos) tentam deliberadamente fazer o sistema falhar: extrair dados, burlar regras, provocar respostas nocivas, desviar o agente de sua tarefa. Difere do teste funcional, que verifica se o sistema faz o que deveria. O red teaming busca o que ninguém previu. O resultado é uma lista de vulnerabilidades com severidade, e os casos encontrados entram no conjunto de avaliação como regressão.

Sandbox / Isolated Execution

É um ambiente isolado onde código ou ações do agente rodam sem acesso ao sistema real: sem rede (ou com rede restrita), sem arquivos de produção, com limites de tempo e memória. Tudo o que acontece ali pode ser descartado. É essencial quando o modelo gera e executa código, ou quando testa ações antes de aplicá-las de verdade. O nome vem da caixa de areia em que crianças brincam sem risco.

Tool Hijacking / MCP Tool Poisoning

É o ataque em que a descrição de uma ferramenta (o texto que o modelo lê para decidir usá-la) contém instruções ocultas, ou em que um servidor de ferramentas malicioso ou comprometido altera seu comportamento depois de ter sido aprovado. Como o modelo confia nas descrições das ferramentas, um servidor MCP de terceiro é um vetor de injeção com acesso direto a ações. É a versão, para agentes, do risco de cadeia de suprimentos de software.

Input / Output Validation

Validação de entrada é checar o que chega ao modelo: tamanho, formato, idioma, presença de instruções suspeitas e dados pessoais. Validação de saída é checar o que o modelo produz: obedece ao esquema esperado? Contém dados proibidos? Inclui código executável ou links não autorizados? Está ancorada no contexto? O princípio é que a saída do modelo é uma entrada não confiável para tudo o que vem depois. Um modelo pode ser manipulado para gerar algo perigoso, e o sistema que consome essa saída precisa se proteger. É a extensão, para IA, do princípio clássico de “nunca confie na entrada”.

Sensitive Information Disclosure / PII Leakage / System Prompt Leakage

É quando o sistema revela o que não deveria: dados pessoais de outros clientes presentes no contexto ou no treinamento, segredos de negócio, credenciais usadas por ferramentas, ou o próprio system prompt, que pode conter regras internas, preços e lógica de negócio. Pode acontecer por injeção de prompt, por contexto mal filtrado (o RAG recupera um documento de outro cliente) ou por memorização no fine-tuning. Vazamento de dados pessoais é incidente de LGPD, não apenas bug.