Modelo autorregressivo

É um modelo que gera a saída um elemento de cada vez, usando o que já produziu para decidir o próximo. É assim que os LLMs escrevem: preveem o próximo token, adicionam à sequência e repetem, até concluir a resposta. Esse funcionamento tem consequências importantes. A geração é sequencial, então respostas longas demoram mais. Um erro no início pode influenciar tudo o que vem depois. E o modelo não “planeja” a resposta inteira antes de começar; ele constrói enquanto escreve. Em geração de imagens, a alternativa mais comum são os modelos de difusão, que produzem a imagem inteira de uma vez e a refinam progressivamente.

Em Produto, entender que o LLM é autorregressivo explica vários comportamentos e orienta decisões de experiência. Explica por que respostas longas demoram e por que exibir o texto conforme ele é gerado (streaming) melhora tanto a percepção de velocidade. Explica por que limitar o tamanho da resposta é uma forma direta de controlar latência e custo. Também explica por que pedir ao modelo para “pensar antes de responder” melhora a qualidade em tarefas complexas: ao escrever o raciocínio, o modelo ganha tokens intermediários que servem de apoio para a conclusão. É a base da técnica de chain-of-thought.

Use modelo autorregressivo quando estiver explicando latência, streaming ou o comportamento de geração dos LLMs. Use decoder para o componente arquitetural que faz essa geração. Use modelo de difusão para a abordagem usada em geração de imagens e vídeos, que funciona de forma diferente. Uma forma simples de diferenciar: autorregressivo escreve palavra por palavra; difusão parte de ruído e refina o todo até chegar ao resultado.

Termo da análise de séries temporais (AR, anos 1920); aplicado a geração de texto com modelos de linguagem neurais (Bengio et al., 2003) e consolidado com GPT.

Google Machine Learning Crash Course, LLMs; Radford et al., GPT (2018)