Fine-tuning

Método

Intermediário

Categoria: LLMs, tokens e adaptaçãoSubcategoria: Ciclo do modelo

O que significa

É o processo de continuar o treinamento de um modelo já pré-treinado usando dados do seu domínio ou da sua tarefa, ajustando seus parâmetros internos. O resultado é um modelo cujo comportamento mudou de forma permanente: estilo, formato de resposta, vocabulário, ou a capacidade de executar uma tarefa específica com mais consistência. Fine-tuning ensina comportamento, não fatos. Não é a forma adequada de fazer o modelo “saber” informações que mudam com o tempo, como preços, políticas ou dados de clientes. Para isso existe o RAG. Exige dados de boa qualidade, avaliação para garantir que o modelo não perdeu capacidades anteriores e reprocessamento sempre que o modelo base for atualizado.

Como usar na prática de produto

Em Produto, fine-tuning costuma ser a terceira opção, não a primeira. A ordem recomendada de tentativa é: primeiro, engenharia de prompt (leva horas); depois, RAG (leva dias); por fim, fine-tuning (leva semanas). Cada etapa só se justifica quando a anterior comprovadamente não resolve na avaliação. Fine-tuning vale a pena em situações específicas: quando o prompt ficou longo e caro demais para ser enviado em cada chamada; quando o formato de saída precisa ser muito estável; ou quando a tarefa é fechada e de alto volume, caso em que um modelo pequeno ajustado costuma vencer um LLM grande em custo e qualidade. Por exemplo, um time que classifica chamados em 40 categorias pode ajustar um modelo pequeno com 5 mil exemplos e substituir um LLM caro, mantendo a qualidade.

Quando usar este termo ou outro

Use fine-tuning para ensinar comportamento, estilo, formato ou uma tarefa específica ao modelo. Use RAG para dar ao modelo conhecimento atual, específico e citável, sem alterar o modelo. Use engenharia de prompt para instruir o modelo em cada chamada, sem treinar nada. Se o conhecimento muda toda semana, fine-tuning é a escolha errada: você precisaria retreinar constantemente. Uma forma simples de diferenciar: prompt instrui; RAG informa; fine-tuning transforma o modelo.

Exemplos de aplicação

Classificação: ajustar um modelo pequeno para categorizar chamados e substituir um LLM caro.
Padronização: fixar o tom e a estrutura de documentos gerados, como laudos ou relatórios.
Vocabulário: ensinar jargão técnico de uma área que o modelo generalista não domina.
Formato: garantir que a saída siga sempre um esquema específico, com menos erros de estrutura.
Custo: reduzir o tamanho do prompt incorporando instruções recorrentes ao modelo.
Tarefas fechadas: extrair campos de documentos padronizados com alta consistência.

Origem do termo

Herdado do aprendizado por transferência; SFT (supervised fine-tuning) com pares instrução-resposta é a etapa que torna um modelo base capaz de seguir instruções (InstructGPT, 2022).

Fonte técnica

Hugging Face, Fine-tuning documentation; OpenAI Platform docs, Fine-tuning; Ouyang et al. (2022)