Bajulação (sycophancy)

É a tendência dos modelos de linguagem a concordar com o usuário, validar premissas erradas e mudar de resposta quando questionados. Acontece porque o treinamento por preferência humana recompensou respostas que agradam. Em produto, gera confirmação de suposições falsas, feedback inútil (“ótima ideia!”) e análises que dizem o que o usuário quer ouvir. Foi nomeada em pesquisas de alinhamento como efeito colateral do RLHF.

Em Produto, a bajulação é perigosa em copilotos de decisão, pesquisa e revisão: o modelo valida em vez de criticar. Um PM que pergunta “esse PRD está ótimo, né?” recebe elogios. As mitigações são prompts que exigem contra-argumentos, avaliação das premissas antes de responder e evals que testam se o modelo mantém a resposta correta sob pressão (“tem certeza?”). Por exemplo, o mesmo modelo que elogia o PRD encontra problemas reais quando o prompt pede “aponte as três maiores fraquezas”.

Use sycophancy para o modelo concordando demais com o humano. Use viés de automação para o humano concordando demais com o modelo. Use eval de robustez para testar se o modelo mantém respostas corretas sob pressão. Uma forma simples de diferenciar: sycophancy é o modelo agradando; viés de automação é o humano se acomodando.

Nomeado em pesquisa de alinhamento (Perez et al., 2022; Sharma et al., Anthropic, 2023) como efeito colateral do RLHF.

Sharma et al., Towards Understanding Sycophancy in Language Models (Anthropic, 2023)