Hiperparâmetro

São as configurações definidas antes do treinamento de um modelo e que controlam como ele aprende: a velocidade de ajuste (taxa de aprendizado), quantas vezes o modelo passa pelos dados (épocas), o tamanho dos lotes de exemplos, a profundidade da rede, entre outras. Diferentemente dos parâmetros, que o modelo aprende a partir dos dados, os hiperparâmetros são escolhidos pelas pessoas. Como não existe uma fórmula para a escolha ideal, o time costuma testar várias combinações e comparar resultados, um processo chamado de ajuste de hiperparâmetros (hyperparameter tuning). Esse ajuste pode consumir bastante tempo e computação, e o ganho nem sempre é grande.

Em Produto, o time não escolhe hiperparâmetros, mas precisa entender o que está acontecendo quando a Engenharia ou o time de Dados diz que está “ajustando o modelo”. Isso pode significar dias de experimentação com ganhos de poucos pontos de qualidade. O que Produto pode pedir é rastreabilidade: que cada experimento seja registrado com sua configuração e seu resultado. Sem esse registro, ninguém consegue explicar por que a versão 3 ficou melhor do que a versão 2, nem reproduzir o resultado depois. Também vale alinhar expectativas de prazo. Ajuste de hiperparâmetros é uma etapa legítima, mas deve ter limite de tempo e critério de parada, como “paramos quando o ganho for menor que 1 ponto”.

Use hiperparâmetro quando estiver falando das configurações de treinamento que o time de Dados ajusta. Use parâmetro do modelo para os valores que o modelo aprende sozinho a partir dos dados. Use parâmetro de geração (temperatura, top-p, tamanho máximo de resposta) para as configurações ajustadas a cada chamada de um LLM já treinado. Uma forma simples de diferenciar: hiperparâmetros são escolhidos antes do treino; parâmetros são aprendidos durante o treino; parâmetros de geração são definidos no uso.

Terminologia da estatística bayesiana adotada pelo ML nos anos 1990.

Google Machine Learning Glossary