Pequeno modelo de linguagem

É um modelo de linguagem pequeno o bastante para rodar de forma barata, rápida e, em muitos casos, localmente, em servidores próprios ou até em dispositivos. Costuma ter entre 1 e 10 bilhões de parâmetros, contra centenas de bilhões dos maiores LLMs. Um SLM perde para os grandes modelos em raciocínio complexo e conhecimento amplo, mas empata ou até ganha em tarefas delimitadas, como classificar, extrair informações e formatar, especialmente depois de um fine-tuning com dados do domínio. A categoria cresceu a partir de 2023, com modelos como Phi (Microsoft), Gemma (Google) e versões pequenas do Llama (Meta).

Em Produto, o SLM é a resposta mais comum para o problema “o LLM ficou caro em escala”. Se a tarefa é fechada e o volume é alto, um modelo pequeno ajustado costuma entregar a mesma qualidade por uma fração do custo, com latência menor. Também é a escolha natural quando os dados não podem sair da empresa, porque o modelo pode rodar em infraestrutura própria. Uma arquitetura frequente é a cascata: o modelo pequeno atende primeiro e, apenas quando tem baixa confiança, o caso é encaminhado ao modelo grande. Assim, o custo alto fica reservado para os casos que realmente precisam.

Use SLM para tarefas fechadas, alto volume, latência baixa ou dados sensíveis. Use LLM grande para raciocínio aberto, tarefas variadas e casos raros ou ambíguos. Use cascata de modelos quando quiser combinar os dois: o pequeno resolve a maioria; o grande cuida das exceções. Uma forma simples de diferenciar: SLM é eficiente e focado; LLM é capaz e generalista.

Termo de mercado (Microsoft Phi, 2023; Google Gemma, 2024) para modelos de 1 a ~10 bilhões de parâmetros que rodam em hardware modesto.

Microsoft Research, Phi technical reports; Google, Gemma documentation