Encoder e decoder

São os dois blocos possíveis de um modelo de linguagem. O encoder transforma a entrada em uma representação numérica que captura seu significado. O decoder gera a saída, token a token, a partir de uma representação. Existem modelos só de encoder, como o BERT, que são bons para entender e representar texto: classificar, comparar, buscar. Existem modelos só de decoder, como GPT e Claude, que são bons para gerar texto. E existem modelos com os dois blocos, usados originalmente em tradução. Os modelos de embeddings, que transformam texto em vetores para busca semântica, são encoders. Os LLMs generativos atuais são, em sua maioria, decoders.

Em Produto, essa distinção ajuda a escolher a ferramenta certa para cada tarefa e a evitar desperdício. Para busca, comparação e classificação de textos, um modelo encoder pequeno costuma ser mais barato, rápido e preciso. Para gerar respostas, resumos ou conteúdo, é preciso um decoder. Usar um LLM generativo grande para produzir embeddings, por exemplo, é mais caro e funciona pior do que usar um modelo de embeddings dedicado. Uma arquitetura comum de RAG usa os dois: um encoder para transformar perguntas e documentos em vetores e encontrar os trechos relevantes, e um decoder para escrever a resposta a partir desses trechos.

Use encoder quando a tarefa é representar, comparar ou classificar texto. Use decoder quando a tarefa é gerar texto. Use modelo autorregressivo para descrever como o decoder gera: um token de cada vez, condicionado nos anteriores. Uma forma simples de diferenciar: encoder entende; decoder escreve.

Arquitetura seq2seq (Sutskever et al., 2014); o Transformer original era encoder-decoder. BERT usa só encoder; GPT usa só decoder.

Vaswani et al. (2017); Devlin et al., BERT (2018)