Modelo especializado

É um modelo treinado ou ajustado para um domínio específico, como jurídico, saúde, finanças ou programação, ou para uma tarefa determinada. Ele incorpora vocabulário, formatos e conhecimento próprios daquela área. Modelos especializados costumam superar os generalistas dentro do seu domínio e perder fora dele. Podem ser obtidos por fine-tuning de um modelo generalista ou por pré-treinamento dedicado com dados da área. Modelos de código são o exemplo mais bem-sucedido dessa categoria; modelos setoriais, como os de finanças ou saúde, têm resultados mais variados.

Em Produto, antes de contratar um modelo “do seu setor”, vale testar um modelo generalista com bom prompt e RAG usando o seu próprio conjunto de avaliação. Com frequência, o generalista atual empata ou vence, e o especializado traz dependência de fornecedor e menos atualizações. Modelos especializados fazem mais sentido quando o generalista falha comprovadamente na avaliação e o domínio tem vocabulário próprio denso, que o RAG não consegue suprir. Também vale considerar o custo de manutenção: modelos generalistas evoluem rápido, e um especializado pode ficar para trás em poucos meses.

Use modelo especializado quando o generalista falha na sua avaliação e o domínio tem linguagem própria que o prompt e o RAG não resolvem. Use modelo generalista com RAG para a maioria dos casos, porque combina qualidade atual com conhecimento do seu contexto. Use fine-tuning para criar sua própria especialização a partir de um generalista, quando os dados permitem. Uma forma simples de diferenciar: generalista sabe um pouco de tudo; especializado sabe muito de uma área; a avaliação diz qual serve para o seu caso.

Contraponto ao modelo generalista; exemplos: BloombergGPT (finanças, 2023), Med-PaLM (saúde, 2022), modelos de código.

Wu et al., BloombergGPT (2023); Google Machine Learning Glossary