Aprendizado por reforço

É uma abordagem de Machine Learning em que um sistema, chamado de agente, aprende a tomar decisões por tentativa e erro. Em vez de receber exemplos com a resposta certa, o agente executa ações em um ambiente, observa o que acontece e recebe um sinal de recompensa ou penalização. Com o tempo, aprende quais sequências de ações levam aos melhores resultados. A diferença fundamental em relação ao aprendizado supervisionado é que não existe um rótulo para cada exemplo. Existe um objetivo, e o retorno sobre uma ação pode chegar apenas depois de várias etapas. Por isso, o aprendizado por reforço é indicado para problemas em que uma decisão de agora muda a situação seguinte, como jogar um jogo, controlar um sistema ou definir uma sequência de ofertas. Foi essa abordagem que permitiu ao AlphaGo vencer campeões de Go e é parte da técnica usada para alinhar os LLMs às preferências humanas (RLHF).

Em Produto, aprendizado por reforço aparece com menos frequência do que os outros paradigmas, porque exige um ambiente em que o sistema possa experimentar com segurança e uma recompensa bem definida. Quando existe, costuma estar em problemas de decisão sequencial: qual oferta mostrar agora para maximizar o resultado ao longo da jornada, como ajustar um preço dinamicamente ou como distribuir recursos ao longo do tempo. Uma versão mais simples e muito usada em produto são os bandits (multi-armed bandits): o sistema testa alternativas, aprende com a resposta dos usuários e vai direcionando mais tráfego para o que funciona melhor, sem esperar um teste A/B inteiro terminar. O ponto de atenção para o time de Produto é a definição da recompensa. O sistema vai otimizar exatamente o que for medido: se a recompensa é o clique, ele aprende a gerar cliques, mesmo que isso prejudique a experiência ou o resultado de negócio. Definir uma recompensa que represente valor real é a decisão mais importante desse tipo de projeto.

Use aprendizado por reforço quando o sistema precisa aprender uma sequência de decisões a partir das consequências das próprias ações, e existe uma forma de medir se o resultado foi bom. Use aprendizado supervisionado quando existe um histórico de exemplos com a resposta certa e o objetivo é prever uma classe ou um valor para novos casos. Use aprendizado não supervisionado quando o objetivo é encontrar padrões ou grupos nos dados sem uma resposta definida. Não confunda agente de aprendizado por reforço com agente de IA. O primeiro é o nome do sistema que aprende por tentativa e erro; o segundo é um sistema baseado em LLM que planeja e executa ações. Os termos compartilham a palavra, mas descrevem coisas diferentes. Uma forma simples de diferenciar: supervisionado aprende com respostas; não supervisionado procura padrões; por reforço aprende com as consequências das próprias ações.

Raízes na psicologia comportamental e no controle ótimo; formalizado por Sutton & Barto (1998). AlphaGo (2016) o tornou conhecido.

Sutton & Barto, Reinforcement Learning: An Introduction (1998, 2018)