Moderação de conteúdo

É um classificador que avalia entradas e saídas quanto a categorias de risco (ódio, assédio, violência, conteúdo sexual, autolesão, atividades ilegais) e bloqueia ou sinaliza o que se enquadra nelas. Costuma ser um modelo pequeno e rápido, separado do modelo principal, aplicado antes e depois dele. Os principais fornecedores oferecem classificadores prontos, e há modelos abertos dedicados a essa função.

Em Produto, a moderação é obrigatória em qualquer produto voltado ao público e recomendável em produtos internos. O cuidado é calibrar por contexto. Um assistente de sinistros precisa conversar sobre acidentes e ferimentos sem ser bloqueado; um classificador genérico pode interpretar isso como conteúdo violento. Vale medir a falsa recusa junto com a taxa de bloqueio. Por exemplo, um filtro de entrada detecta uma ameaça ao atendente e encaminha a conversa para um humano com prioridade, em vez de deixar o bot responder.

Use moderação de conteúdo para categorias universais de dano, com classificadores prontos. Use guardrail customizado para regras específicas do seu domínio. Os dois se somam: moderação cuida do universal; guardrails cuidam do particular. Uma forma simples de diferenciar: moderação é o filtro padrão do mercado; guardrail é o filtro da sua empresa.

Moderação de plataformas (anos 2000-2010); classificadores de segurança para LLMs (OpenAI Moderation API, Llama Guard, 2022-2023).

OpenAI, Moderation guide; Meta, Llama Guard (2023)