Guardrail

É um controle programático que limita o que entra e o que sai de um sistema de IA, independentemente do que o modelo “decida” fazer. Inclui filtros de entrada (tema, tentativa de injeção, dados pessoais), validação de saída (formato, conteúdo proibido, fidelidade à fonte) e limites de ação (quais ferramentas, com quais parâmetros, até que valor). O guardrail funciona fora do modelo, em código. Por isso, não depende de o prompt ser obedecido. A metáfora vem das barreiras de proteção em estradas: não impedem o carro de andar, mas impedem que saia da pista.

Em Produto, é essencial entender que prompt não é guardrail. Uma instrução no system prompt pode ser ignorada pelo modelo, seja por erro, seja por manipulação. Um guardrail em código, não. Os limites devem ser definidos no PRD: o que o sistema nunca pode dizer ou fazer. E precisam ser implementados como controle, testados no eval e monitorados, acompanhando a taxa de acionamento e a taxa de falsa recusa. Por exemplo, um guardrail de saída que bloqueia qualquer resposta contendo número de cartão ou CPF, mesmo que o modelo tenha decidido incluí-lo.

Use guardrail para regras duras, que não podem falhar: nunca revelar X, nunca executar Y sem aprovação. Use prompt para comportamento desejado, que tolera exceção: tom, formato, prioridade. Use moderação de conteúdo como um tipo específico de guardrail, voltado a categorias universais de dano. Uma forma simples de diferenciar: prompt é pedido; guardrail é controle.

Metáfora rodoviária adotada pela engenharia de LLMs em 2023 (NVIDIA NeMo Guardrails, Guardrails AI); a ideia de 'restrições de segurança em runtime' vem de sistemas críticos.

OWASP Top 10 for LLM Applications (2025); NVIDIA NeMo Guardrails documentation