Pré-treinamento

Pre-training

Etapa

Intermediário

Categoria: LLMs, tokens e adaptaçãoSubcategoria: Ciclo do modelo

O que significa

É a etapa inicial, e a mais cara, do ciclo de vida de um modelo fundacional. Nela, o modelo é treinado de forma autossupervisionada em volumes enormes de texto (e, em modelos multimodais, também imagens, código e áudio) para aprender linguagem, conhecimento geral e padrões de raciocínio. É um processo que custa milhões de dólares em computação e é realizado por poucos laboratórios no mundo. O resultado é um modelo base, que sabe produzir texto, mas ainda não sabe conversar ou seguir instruções. Tudo o que vem depois, como o ajuste para seguir instruções, o alinhamento por RLHF e o fine-tuning para domínios específicos, parte do modelo pré-treinado.

Como usar na prática de produto

Em Produto, ninguém pré-treina um modelo; o time escolhe quem pré-treinou. Ainda assim, algumas características do pré-treinamento afetam diretamente o produto e valem ser conhecidas. A primeira é a data de corte do conhecimento: o modelo não sabe nada que aconteceu depois dela, e é preciso trazer informações recentes por outros meios, como RAG. A segunda é a cobertura de idiomas e domínios: um modelo treinado majoritariamente em inglês pode ter desempenho inferior em português. A terceira são as questões de licença e propriedade intelectual sobre os dados usados no treino. Antes de fechar contrato com um fornecedor, vale perguntar sobre esses três pontos.

Quando usar este termo ou outro

Use pré-treinamento quando estiver falando da etapa em que o modelo aprende linguagem e conhecimento geral a partir de grandes volumes de dados. Use fine-tuning para as etapas posteriores, em que o modelo é adaptado a instruções, estilos ou domínios. Use RAG quando o objetivo é dar ao modelo acesso a informações que ele não tem, sem treinar nada. Uma forma simples de diferenciar: pré-treinamento ensina o modelo a entender e produzir linguagem; fine-tuning ajusta o comportamento; RAG fornece conhecimento no momento do uso.

Exemplos de aplicação

Escolha de fornecedor: perguntar a data de corte do conhecimento e a cobertura de português.
Expectativas: explicar por que o modelo não conhece eventos ou produtos recentes.
Compliance: verificar a política do fornecedor sobre dados usados no pré-treinamento.
Domínio: avaliar se o modelo foi exposto a textos da sua área, como jurídico ou saúde.
Arquitetura: decidir usar RAG para complementar o conhecimento do modelo com dados atualizados.

Origem do termo

Prática consolidada com BERT e GPT (2018); o par pré-treinamento + fine-tuning define o ciclo dos modelos fundacionais.

Fonte técnica

Google Machine Learning Crash Course, LLMs; Bommasani et al., Foundation Models (2021)