Vazamento de informação sensível

É quando o sistema revela o que não deveria: dados pessoais de outros clientes presentes no contexto ou no treinamento, segredos de negócio, credenciais usadas por ferramentas, ou o próprio system prompt, que pode conter regras internas, preços e lógica de negócio. Pode acontecer por injeção de prompt, por contexto mal filtrado (o RAG recupera um documento de outro cliente) ou por memorização no fine-tuning. Vazamento de dados pessoais é incidente de LGPD, não apenas bug.

Em Produto, a premissa é: tudo o que entra no contexto pode sair na resposta. Por isso, o controle de acesso precisa estar na recuperação (o usuário só vê o que pode ver), dados pessoais devem ser mascarados antes de chegar ao modelo, e nada de segredo deve estar no system prompt. Testes de extração fazem parte do red teaming: tentar fazer o sistema revelar o que deveria proteger. Por exemplo, o assistente responde “segundo o contrato de João Silva...” para outro cliente: o índice não filtrava por titular. É um incidente de severidade máxima.

Use vazamento de dados pessoais para exposição de informações de pessoas. Use vazamento de system prompt para exposição da lógica interna do produto. Use DLP (prevenção de perda de dados) para o controle que detecta ambos na saída. Uma forma simples de diferenciar: o que vazou define a gravidade; como vazou define a correção.

OWASP Top 10 para LLMs (LLM02 e LLM07, 2025).

OWASP Top 10 for LLM Applications, LLM02 Sensitive Information Disclosure e LLM07 System Prompt Leakage (2025)