Envenenamento de dados

É a inserção de dados maliciosos ou corrompidos onde o sistema aprende ou consulta. No treinamento ou fine-tuning, o modelo pode aprender comportamentos ocultos ou vieses. Na base de conhecimento de um RAG, um documento falso passa a ser tratado como fonte oficial. Em RAG, o ataque é simples: basta alguém conseguir gravar um arquivo na pasta que é indexada. É um risco tanto de segurança quanto de qualidade, porque dados ruins inseridos sem má intenção têm o mesmo efeito.

Em Produto, a pergunta que define o risco é: quem pode escrever na base de conhecimento? Se a resposta é “qualquer pessoa com acesso à pasta compartilhada”, o sistema está vulnerável. As mitigações são controle de origem (apenas fontes aprovadas), revisão de conteúdo antes de indexar, proveniência nas respostas e monitoramento de mudanças no índice. Para fine-tuning, curadoria e auditoria do dataset. Por exemplo, um documento “Política de reembolso v3” plantado em uma pasta compartilhada é indexado e passa a ser citado pelo assistente como oficial.

Use envenenamento de dados para ataques ao que o sistema sabe (treino ou base). Use injeção de prompt para ataques ao que o sistema faz em uma interação. Ambos exigem controle sobre o que entra no sistema. Uma forma simples de diferenciar: envenenamento contamina a fonte; injeção contamina a conversa.

Segurança de ML adversarial (Biggio et al., 2012); estendido a bases de RAG e a dados de fine-tuning (OWASP LLM04, 2025).

OWASP Top 10 for LLM Applications, LLM04 Data and Model Poisoning (2025)