Aprendizado autossupervisionado

É uma abordagem de Machine Learning em que o modelo cria seus próprios sinais de aprendizado a partir da estrutura dos dados, sem depender de pessoas rotulando manualmente cada exemplo. Parte das informações disponíveis é ocultada, removida ou usada como referência, e o modelo aprende tentando prever ou reconstruir essa informação. Em textos, por exemplo, o modelo pode aprender tentando prever palavras ou tokens a partir do contexto. Em imagens, pode aprender relações entre diferentes partes ou representações de uma mesma imagem. Dessa forma, grandes volumes de dados sem rótulos manuais podem ser utilizados para aprender representações, relações e padrões. Essa abordagem é importante no desenvolvimento de muitos modelos fundacionais, incluindo LLMs. No treinamento de modelos de linguagem autoregressivos, por exemplo, o próprio texto fornece o sinal de aprendizado: dada uma sequência de tokens, o modelo aprende a prever o próximo.

Para times de Produto, aprendizado autossupervisionado costuma aparecer menos como uma técnica que será implementada diretamente e mais como parte da compreensão de como modelos modernos foram treinados e por que conseguem ser reutilizados em diferentes tarefas. Ele ajuda a entender por que um modelo pode aprender capacidades gerais a partir de grandes volumes de texto, imagem, áudio ou outros dados antes de receber adaptações para um caso de uso específico. Na construção de um produto, normalmente o time consome um modelo que passou por esse tipo de treinamento, em vez de treinar um modelo autossupervisionado do zero. A partir dele, pode utilizar prompting, RAG, fine-tuning ou outras técnicas para adaptar o sistema ao contexto do produto.

Use aprendizado autossupervisionado quando o próprio dado é utilizado para gerar o sinal ou objetivo usado durante o aprendizado, sem depender principalmente de rótulos criados manualmente. Use aprendizado supervisionado quando o treinamento utiliza exemplos com respostas ou rótulos previamente fornecidos, como “fraude” e “não fraude”. Use aprendizado não supervisionado quando o objetivo é descobrir estruturas ou padrões nos dados sem uma resposta definida, como acontece em clustering. Embora o aprendizado autossupervisionado utilize dados não rotulados manualmente, ele cria uma tarefa de supervisão a partir dos próprios dados, por isso os termos não são sinônimos. Uma forma simples de diferenciar: supervisionado recebe a resposta; não supervisionado procura padrões sem uma resposta definida; autossupervisionado cria a tarefa de aprendizado a partir dos próprios dados.

Popularizado por Yann LeCun (2016-2019) e pela onda de modelos pré-treinados: word2vec (2013), BERT (2018), GPT (2018).

Google Machine Learning Crash Course, LLMs; Devlin et al., BERT (2018)