Grande modelo de linguagem

É um modelo de linguagem de grande porte, treinado com volumes enormes de texto para prever a próxima palavra (ou token) de uma sequência e, depois, alinhado para seguir instruções e conversar. Modelos como GPT, Claude, Gemini e Llama são LLMs. Por ter aprendido com uma quantidade enorme de texto, um LLM consegue gerar, resumir, classificar, traduzir, escrever código e raciocinar em linguagem natural, tudo com o mesmo modelo, sem treinamento específico para cada tarefa. Também tem limitações importantes: não sabe fatos com garantia e pode inventar informações com confiança; não calcula com exatidão; e pode dar respostas diferentes para a mesma pergunta, porque é probabilístico.

Em Produto, o LLM é o componente mais versátil e, ao mesmo tempo, o mais mal especificado dos produtos atuais. É fácil fazer uma demonstração impressionante e difícil transformá-la em algo confiável. Para sair da demo, o time precisa de alguns elementos: um conjunto de avaliação com casos reais, guardrails que limitem o que o sistema pode dizer ou fazer, um caminho para revisão humana quando a confiança é baixa, um orçamento de custo por transação e a versão do modelo fixada. Também vale definir onde o LLM entra e onde não entra. Para prever, ML clássico costuma ser melhor; para buscar, modelos de embeddings; para tarefas fechadas em alto volume, modelos pequenos. O LLM brilha em linguagem aberta, raciocínio e tarefas variadas.

Use LLM quando a necessidade envolve linguagem natural, raciocínio aberto ou tarefas variadas que mudam com frequência. Use SLM (modelo pequeno de linguagem) para tarefas fechadas, com alto volume e necessidade de custo e latência baixos. Use modelo de embeddings para representar, comparar e buscar textos. Use ML clássico para prever valores ou categorias a partir de dados estruturados. Uma forma simples de diferenciar: LLM conversa e raciocina; embeddings encontram; ML clássico prevê.

Termo consolidado com GPT-3 (2020); 'grande' refere-se a bilhões de parâmetros e trilhões de tokens de treino.

Google Machine Learning Crash Course, LLMs; Brown et al., GPT-3 (2020)