Atenção

É o mecanismo que permite a um modelo decidir, para cada parte de uma sequência, quanto cada outra parte importa. Ao processar a palavra “ele” em uma frase, por exemplo, a atenção permite ao modelo “olhar” para o nome ao qual esse pronome se refere, mesmo que esteja várias palavras antes. No Transformer, esse mecanismo é aplicado dentro da própria entrada (self-attention) e em várias “cabeças” paralelas (multi-head attention), cada uma aprendendo um tipo diferente de relação entre as partes do texto. É a atenção que permite ao modelo ligar uma pergunta ao trecho relevante de um documento ou manter a coerência em textos longos.

Em Produto, o conceito de atenção ajuda a entender um comportamento importante: o modelo não trata todas as partes do contexto igualmente. Informações no meio de um contexto longo tendem a receber menos atenção do que as do início e do fim, um fenômeno conhecido como “lost in the middle”. A consequência prática é que “está no contexto” não significa “vai ser usado”. Instruções críticas devem ficar no início ou no fim do prompt, e contextos muito longos devem ser evitados quando a precisão importa. Por exemplo, se uma instrução do system prompt está sendo ignorada em conversas longas, reposicioná-la para o final pode resolver o problema sem trocar de modelo.

Use atenção quando estiver explicando por que o modelo usa ou ignora certas partes do contexto. Use Transformer para a arquitetura completa da qual a atenção é o mecanismo central. Use janela de contexto para o limite de quanto texto o modelo consegue receber de uma vez. Uma forma simples de diferenciar: janela de contexto é quanto o modelo pode ler; atenção é como ele decide o que importa dentro do que leu.

Bahdanau et al. (2014) para tradução automática; generalizado como self-attention no Transformer (2017).

Vaswani et al. (2017); Liu et al., Lost in the Middle (2023)