Parâmetros do modelo

São os valores numéricos internos de um modelo que o treinamento ajusta e que determinam como ele se comporta. Em redes neurais, esses valores são chamados de pesos: cada conexão entre neurônios artificiais tem um peso, e é o conjunto de todos eles que “guarda” o que o modelo aprendeu. Quando se diz que um modelo tem 8 bilhões ou 400 bilhões de parâmetros, está se falando da quantidade desses valores. Em geral, mais parâmetros significam mais capacidade de lidar com tarefas complexas, mas também mais custo para treinar e para executar. Não confunda parâmetros do modelo com hiperparâmetros, que são configurações escolhidas antes do treinamento, nem com parâmetros de geração, como a temperatura, que são ajustados a cada chamada de um LLM.

Em Produto, o número de parâmetros é uma forma rápida de conversar sobre tamanho, custo e latência de um modelo. Um modelo maior tende a responder melhor a tarefas complexas e a custar mais por token; um modelo menor é mais barato e rápido, mas pode não dar conta de raciocínios longos. A pergunta útil para o time não é “qual o maior modelo que cabe no orçamento?”, e sim “qual o menor modelo que passa na nossa avaliação?”. Muitas tarefas de produto, como classificar, extrair ou formatar, funcionam bem com modelos pequenos, e a economia em escala é grande. Por exemplo, um time que usa um modelo de 400 bilhões de parâmetros para classificar chamados pode testar um de 8 bilhões e descobrir que a qualidade é a mesma, com custo 20 vezes menor.

Use parâmetros quando estiver comparando o tamanho ou a capacidade de diferentes modelos. Use tokens quando o assunto for custo por chamada ou tamanho do contexto: a cobrança dos fornecedores é por token processado, não por parâmetro. Use temperatura e outros parâmetros de geração quando estiver falando de como controlar a variabilidade da resposta em cada chamada. Uma forma simples de diferenciar: parâmetros do modelo definem o que ele sabe; tokens medem o quanto ele processa; parâmetros de geração controlam como ele responde.

Estatística clássica (parâmetros de uma função); em redes neurais, 'pesos' são os parâmetros ajustados no treino. 'Modelo de 70B' significa 70 bilhões de parâmetros.

Google Machine Learning Glossary; Hugging Face documentation