Modelo fundacional

É um modelo treinado em grande escala, com volumes enormes de dados amplos, que serve como base adaptável para muitas tarefas diferentes. Em vez de ser construído para um problema específico, ele aprende capacidades gerais e depois é adaptado por meio de prompts, fine-tuning ou RAG. Os LLMs são o exemplo mais conhecido, mas modelos de visão, áudio e multimodais atuais também são fundacionais. O termo foi criado pela Universidade de Stanford em 2021 para nomear essa nova categoria. O nome “fundacional” também chama atenção para um risco: erros, vieses e limitações da base se propagam para tudo o que é construído sobre ela.

Em Produto, o time praticamente nunca treina um modelo fundacional. O trabalho é escolher um e adaptá-lo ao contexto do produto. As decisões relevantes são: qual fornecedor, qual tamanho de modelo, aberto ou proprietário, e como proteger o produto de mudanças no modelo. Fornecedores atualizam seus modelos, e uma atualização pode mudar o comportamento do seu produto sem aviso. Fixar a versão em produção e manter avaliações de regressão são práticas essenciais. Também vale conhecer as limitações documentadas pelo fornecedor (model card), porque elas se aplicam ao seu produto: se o modelo base tem viés em determinado tema, o seu assistente provavelmente também terá.

Use modelo fundacional quando estiver falando da origem e do papel de base de um modelo, aplicável a qualquer modalidade. Use LLM quando o modelo fundacional é de linguagem. Use modelo especializado ou modelo ajustado para o que se obtém depois de adaptar o modelo fundacional a uma tarefa. Uma forma simples de diferenciar: modelo fundacional é a base; LLM é a base para linguagem; modelo ajustado é a base adaptada ao seu problema.

Cunhado pelo Stanford CRFM em On the Opportunities and Risks of Foundation Models (Bommasani et al., 2021).

Bommasani et al., On the Opportunities and Risks of Foundation Models (2021)