Transformer

É a arquitetura de rede neural que está por trás de praticamente todos os grandes modelos de IA atuais, incluindo os LLMs. Foi apresentada em 2017 pelo Google em um artigo chamado “Attention Is All You Need”. Sua principal inovação é o mecanismo de atenção, que permite ao modelo analisar toda a sequência de entrada de uma vez e aprender quais partes são mais relevantes para cada parte da saída. Isso torna o treinamento mais eficiente e permite lidar com relações distantes em um texto. O Transformer escala bem com mais dados e mais computação, e foi isso que viabilizou os modelos fundacionais. Praticamente todo LLM é um Transformer, e as diferenças entre fornecedores estão nos dados, na escala e no alinhamento, não na arquitetura básica.

Em Produto, não é preciso entender os detalhes internos do Transformer, mas conhecer a arquitetura ajuda a entender três consequências práticas. A primeira é que o custo cresce com o tamanho do contexto: como a atenção compara cada parte do texto com todas as outras, contextos longos custam desproporcionalmente mais. A segunda é que a qualidade depende do que está no contexto e de onde está: informações no meio de textos longos tendem a receber menos atenção. A terceira é que, como a arquitetura é comum a todos, a escolha entre fornecedores deve se basear em avaliações, e não em promessas de tecnologia. Esses três pontos orientam decisões sobre tamanho de prompt, organização do contexto e escolha de modelo.

Use Transformer quando estiver explicando limites de contexto, custo ou comportamento de modelos de linguagem. Use LLM, modelo de embeddings ou reranker para falar do tipo de modelo em decisões de produto: todos são Transformers, mas com papéis diferentes. Use rede neural para o conceito mais amplo, do qual o Transformer é uma arquitetura específica. Uma forma simples de diferenciar: rede neural é a família; Transformer é a arquitetura dominante; LLM é uma aplicação dessa arquitetura à linguagem.

Vaswani et al., Attention Is All You Need (Google Brain, 2017). Base de BERT, GPT, Claude, Gemini, Llama e dos modelos de visão e áudio atuais.

Vaswani et al., Attention Is All You Need (2017)