Aprendizado por reforço com feedback humano

É uma técnica usada para ajustar o comportamento de um modelo de linguagem de acordo com preferências humanas. Depois do pré-treinamento, o modelo sabe produzir texto, mas não sabe o que as pessoas consideram uma boa resposta: útil, segura, educada, no formato certo. O RLHF ensina isso. O processo funciona em etapas. Pessoas comparam pares de respostas do modelo e indicam qual preferem. Com essas comparações, treina-se um modelo de recompensa, que aprende a prever o que as pessoas gostam. Por fim, o modelo de linguagem é ajustado, por aprendizado por reforço, para produzir respostas que esse modelo de recompensa avalie bem. É essa etapa que transforma um “preditor de texto” em um assistente que segue instruções, recusa pedidos inadequados e conversa de forma natural. Variantes como RLAIF usam feedback gerado por outra IA em vez de pessoas, e DPO simplifica o processo dispensando o modelo de recompensa separado.

Em Produto, é raro que o time faça RLHF diretamente. O mais comum é consumir modelos que já passaram por esse processo, como os oferecidos pelos grandes fornecedores. Ainda assim, entender o RLHF ajuda a explicar comportamentos que aparecem em produção. Dois deles merecem atenção. O primeiro são as recusas: o modelo foi treinado para negar certos pedidos, e às vezes recusa algo legítimo do seu contexto. O segundo é a tendência a agradar (sycophancy): como respostas agradáveis foram recompensadas no treinamento, o modelo pode concordar com o usuário mesmo quando ele está errado. Ao avaliar fornecedores de modelo, vale perguntar como o modelo foi alinhado, com quais critérios e como isso afeta o tipo de tarefa que o seu produto precisa executar. E ao desenhar avaliações, vale incluir casos que testem recusas indevidas e concordância excessiva.

Use RLHF quando estiver falando especificamente da etapa de alinhamento de um modelo de linguagem às preferências humanas. Use fine-tuning quando estiver falando de ajustar um modelo com exemplos para uma tarefa ou estilo específico. O RLHF é um tipo de ajuste, mas com um objetivo diferente: moldar o comportamento geral, e não ensinar uma tarefa. Use aprendizado por reforço para o paradigma geral de aprender por recompensa, que existe muito antes dos LLMs e tem outras aplicações. Uma forma simples de diferenciar: pré-treinamento ensina o modelo a produzir texto; fine-tuning ensina uma tarefa ou um estilo; RLHF ensina o que as pessoas consideram uma boa resposta.

Christiano et al. (OpenAI/DeepMind, 2017); aplicado a LLMs em InstructGPT (Ouyang et al., 2022), base do ChatGPT. Variantes: RLAIF (feedback de IA, Anthropic 2022) e DPO (Rafailov et al., 2023), que dispensa o modelo de recompensa.

Ouyang et al., Training language models to follow instructions with human feedback (2022); Christiano et al. (2017)