Aprendizado por transferência

Transfer Learning

Método

Intermediário

Categoria: Aprendizado e tarefas de MLSubcategoria: Paradigmas de aprendizado

O que significa

É uma abordagem em que um modelo treinado para uma tarefa ampla é reaproveitado como ponto de partida para uma tarefa específica. Em vez de começar do zero, o novo modelo herda o que o modelo original já aprendeu e é ajustado com uma quantidade muito menor de dados. A ideia é parecida com a de uma pessoa que já sabe dirigir carro e aprende a dirigir caminhão: não precisa aprender tudo de novo, apenas adaptar o que já sabe. Um modelo de visão treinado com milhões de imagens gerais, por exemplo, já sabe reconhecer bordas, formas e texturas, e pode ser adaptado para identificar defeitos em um produto com algumas centenas de fotos. O fine-tuning é a forma mais comum de aprendizado por transferência. É esse princípio que torna viável construir soluções de IA sem dispor de milhões de exemplos próprios.

Como usar na prática de produto

Em Produto, aprendizado por transferência muda a conversa sobre dados. Antes de aprovar um projeto de coleta e rotulagem de grandes volumes, vale perguntar se existe um modelo pré-treinado próximo do problema. Quase sempre existe, e isso reduz drasticamente tempo, custo e a quantidade de exemplos necessários. Por exemplo, um time que precisa classificar fotos de produtos em categorias pode partir de um modelo de visão já treinado e ajustá-lo com algumas centenas de imagens rotuladas, em vez de treinar um modelo do zero. O papel de Produto é garantir que os exemplos usados no ajuste representem bem os casos reais do produto, porque é neles que o modelo vai aprender as particularidades do seu contexto.

Quando usar este termo ou outro

Use aprendizado por transferência quando existe um modelo treinado em uma tarefa ampla que pode ser adaptado para o seu problema com poucos dados. Use fine-tuning para descrever a técnica concreta de ajustar esse modelo com exemplos do seu contexto. Fine-tuning é uma forma de aprendizado por transferência. Use treinamento do zero apenas quando o domínio é tão específico que nenhum modelo pré-treinado ajuda, o que é raro. Uma forma simples de diferenciar: aprendizado por transferência é o princípio de reaproveitar conhecimento; fine-tuning é a técnica mais comum para fazer isso.

Exemplos de aplicação

Visão computacional: adaptar um modelo pré-treinado para detectar defeitos em produtos com poucas centenas de fotos.
Classificação de texto: ajustar um modelo de linguagem para categorizar chamados do seu atendimento.
Saúde: adaptar modelos de imagem para identificar padrões em exames a partir de uma base menor.
Voz: ajustar um modelo de reconhecimento de fala ao vocabulário e sotaque do seu público.
E-commerce: reaproveitar um modelo de embeddings geral para busca de produtos do seu catálogo.
Documentos: adaptar um modelo de extração para os formatos específicos de formulários da empresa.

Origem do termo

Conceito dos anos 1990 (Pratt, 1993); virou prática padrão em visão (ImageNet, 2012+) e em linguagem (BERT, 2018).

Fonte técnica

Pan & Yang, A Survey on Transfer Learning (2010); Google Machine Learning Glossary