Ajuste eficiente de parâmetros

É uma família de técnicas de fine-tuning que ajusta apenas uma pequena fração dos parâmetros do modelo, ou adiciona alguns parâmetros novos, em vez de treinar todos. O modelo base permanece intacto; a adaptação fica em um componente separado e pequeno. A técnica mais conhecida é a LoRA (Low-Rank Adaptation), que insere pequenas matrizes treináveis nas camadas do modelo. Como poucos parâmetros são ajustados, o custo de treinamento cai muito, o risco de esquecimento catastrófico diminui e as adaptações podem ser trocadas como “plugins” sobre o mesmo modelo base. Na prática, PEFT tornou o fine-tuning acessível para times sem grande infraestrutura de GPU.

Em Produto, PEFT e LoRA são o que tornam viável ter várias adaptações de um mesmo modelo: uma por cliente, por idioma, por tarefa ou por linha de negócio, todas rodando sobre a mesma base. Quando o time propõe fine-tuning, a pergunta útil é: “LoRA ou fine-tuning completo?”. Na grande maioria dos casos, a resposta é LoRA: mais barato, mais rápido, mais seguro e com resultado equivalente para tarefas de produto. Fine-tuning completo só se justifica com muitos dados, muito orçamento e necessidade de mudar o modelo profundamente, o que é raro fora de laboratórios de pesquisa.

Use PEFT ou LoRA como padrão sempre que for adaptar um modelo por fine-tuning. Use fine-tuning completo apenas quando há muitos dados, orçamento e necessidade comprovada de alterar o modelo em profundidade. Use RAG ou prompt antes de qualquer fine-tuning, se o problema for de conhecimento ou de instrução. Uma forma simples de diferenciar: fine-tuning completo reescreve o modelo; LoRA adiciona uma camada de adaptação por cima dele.

LoRA: Hu et al. (Microsoft, 2021). QLoRA (Dettmers et al., 2023) combina LoRA com quantização. A biblioteca PEFT da Hugging Face consolidou a família.

Hu et al., LoRA: Low-Rank Adaptation of Large Language Models (2021); Hugging Face PEFT documentation