Temperatura

É o parâmetro que controla o grau de aleatoriedade na geração de texto. Com temperatura próxima de zero, o modelo tende a escolher sempre o token mais provável, produzindo respostas mais previsíveis e repetitivas. Com temperatura alta (0,8 a 1,0), o modelo aceita escolhas menos prováveis, produzindo mais variedade, e também mais risco de erro. Parâmetros relacionados, como top-p e top-k, limitam de quais tokens o modelo pode escolher em cada passo. Temperatura zero não garante respostas idênticas entre chamadas; apenas reduz bastante a variação.

Em Produto, a regra prática é: temperatura baixa (0 a 0,3) para tarefas que exigem consistência, como classificação, extração de dados, geração de código e respostas factuais; temperatura média ou alta para tarefas criativas, como brainstorming e variações de texto. É importante entender que a temperatura controla variabilidade, não qualidade. Um prompt ruim com temperatura zero produz respostas consistentemente ruins. A qualidade vem do prompt, do contexto e do modelo. Também vale documentar a temperatura usada em cada capacidade junto com o prompt, porque ela faz parte da configuração que define o comportamento.

Use temperatura baixa para tarefas fechadas que precisam de respostas consistentes e reproduzíveis. Use temperatura alta para tarefas abertas que se beneficiam de variedade. Ajuste o prompt, e não a temperatura, quando o problema é qualidade ou precisão. Uma forma simples de diferenciar: temperatura controla o quanto o modelo ousa; o prompt controla o quanto ele acerta.

Da distribuição de Boltzmann na física estatística; usado em amostragem de redes neurais desde os anos 1980 e em LLMs como controle de aleatoriedade.

OpenAI Platform docs, Text generation parameters; Google AI, Gemini API parameters