Dicionário de Inteligência Artificial PM3

Attention

É o mecanismo que permite a um modelo decidir, para cada parte de uma sequência, quanto cada outra parte importa. Ao processar a palavra “ele” em uma frase, por exemplo, a atenção permite ao modelo “olhar” para o nome ao qual esse pronome se refere, mesmo que esteja várias palavras antes. No Transformer, esse mecanismo é aplicado dentro da própria entrada (self-attention) e em várias “cabeças” paralelas (multi-head attention), cada uma aprendendo um tipo diferente de relação entre as partes do texto. É a atenção que permite ao modelo ligar uma pergunta ao trecho relevante de um documento ou manter a coerência em textos longos.

Training / Validation / Test Sets

É a divisão dos dados disponíveis em três partes com papéis diferentes. O conjunto de treino é usado para ajustar os parâmetros do modelo. O conjunto de validação serve para comparar versões e escolher configurações durante o desenvolvimento. O conjunto de teste é usado uma única vez, ao final, para medir o resultado em dados que nunca influenciaram nenhuma decisão. A separação existe para evitar que o modelo seja avaliado nos mesmos dados com que aprendeu, o que produziria resultados inflados. Se o time olha o teste para ajustar o modelo, o teste passa a funcionar como validação e perde o valor de medida independente. Quando há poucos dados, usa-se validação cruzada: os dados são divididos em partes e o processo é repetido rotacionando qual parte serve de validação.

Encoder / Decoder

São os dois blocos possíveis de um modelo de linguagem. O encoder transforma a entrada em uma representação numérica que captura seu significado. O decoder gera a saída, token a token, a partir de uma representação. Existem modelos só de encoder, como o BERT, que são bons para entender e representar texto: classificar, comparar, buscar. Existem modelos só de decoder, como GPT e Claude, que são bons para gerar texto. E existem modelos com os dois blocos, usados originalmente em tradução. Os modelos de embeddings, que transformam texto em vetores para busca semântica, são encoders. Os LLMs generativos atuais são, em sua maioria, decoders.

Feature

Em Machine Learning, feature é uma variável de entrada usada pelo modelo para fazer previsões: idade do cliente, número de compras no último mês, dia da semana, tempo desde o último contato. O conjunto de features é o que o modelo “enxerga” sobre cada caso. Feature engineering é a prática de criar, transformar e selecionar essas variáveis a partir dos dados brutos. Muitas vezes, a diferença entre um modelo bom e um ruim está mais nas features do que no algoritmo. Em Deep Learning, o modelo aprende as features sozinho a partir do dado bruto, como pixels ou texto. Por isso, o termo aparece mais em ML clássico sobre dados tabulares. Atenção: em Produto, “feature” também significa funcionalidade. O contexto costuma deixar claro qual dos dois sentidos está em uso.

Generalization

É a capacidade de um modelo acertar em dados que ele não viu durante o treinamento. É, na prática, a única coisa que importa em produção: um modelo que só acerta o que já conhece não serve para lidar com usuários e situações novas. A generalização é medida com dados separados, chamados de conjunto de teste, que precisam representar o uso real, incluindo os casos raros e difíceis. Se o teste só contém casos fáceis, o número obtido não diz nada sobre o que vai acontecer em produção. Boa generalização é o objetivo; overfitting é a falha mais comum no caminho até ele.

Large Language Model (LLM)

É um modelo de linguagem de grande porte, treinado com volumes enormes de texto para prever a próxima palavra (ou token) de uma sequência e, depois, alinhado para seguir instruções e conversar. Modelos como GPT, Claude, Gemini e Llama são LLMs. Por ter aprendido com uma quantidade enorme de texto, um LLM consegue gerar, resumir, classificar, traduzir, escrever código e raciocinar em linguagem natural, tudo com o mesmo modelo, sem treinamento específico para cada tarefa. Também tem limitações importantes: não sabe fatos com garantia e pode inventar informações com confiança; não calcula com exatidão; e pode dar respostas diferentes para a mesma pergunta, porque é probabilístico.

Hyperparameter

São as configurações definidas antes do treinamento de um modelo e que controlam como ele aprende: a velocidade de ajuste (taxa de aprendizado), quantas vezes o modelo passa pelos dados (épocas), o tamanho dos lotes de exemplos, a profundidade da rede, entre outras. Diferentemente dos parâmetros, que o modelo aprende a partir dos dados, os hiperparâmetros são escolhidos pelas pessoas. Como não existe uma fórmula para a escolha ideal, o time costuma testar várias combinações e comparar resultados, um processo chamado de ajuste de hiperparâmetros (hyperparameter tuning). Esse ajuste pode consumir bastante tempo e computação, e o ganho nem sempre é grande.

Autoregressive Model

É um modelo que gera a saída um elemento de cada vez, usando o que já produziu para decidir o próximo. É assim que os LLMs escrevem: preveem o próximo token, adicionam à sequência e repetem, até concluir a resposta. Esse funcionamento tem consequências importantes. A geração é sequencial, então respostas longas demoram mais. Um erro no início pode influenciar tudo o que vem depois. E o modelo não “planeja” a resposta inteira antes de começar; ele constrói enquanto escreve. Em geração de imagens, a alternativa mais comum são os modelos de difusão, que produzem a imagem inteira de uma vez e a refinam progressivamente.

Embedding Model

É um modelo que transforma um texto (ou uma imagem) em um vetor numérico, uma lista de centenas ou milhares de números, de forma que conteúdos com significados parecidos fiquem próximos nesse espaço. A frase “como cancelar minha assinatura” e a frase “quero encerrar o plano” ficam próximas, mesmo sem palavras em comum. Esses vetores são chamados de embeddings. Com eles, é possível comparar textos por significado, e não apenas por palavras iguais. É a base da busca semântica, do RAG, de recomendações por conteúdo e do agrupamento de textos. Modelos de embeddings são encoders: entendem e representam, mas não geram texto.

Foundation Model

É um modelo treinado em grande escala, com volumes enormes de dados amplos, que serve como base adaptável para muitas tarefas diferentes. Em vez de ser construído para um problema específico, ele aprende capacidades gerais e depois é adaptado por meio de prompts, fine-tuning ou RAG. Os LLMs são o exemplo mais conhecido, mas modelos de visão, áudio e multimodais atuais também são fundacionais. O termo foi criado pela Universidade de Stanford em 2021 para nomear essa nova categoria. O nome “fundacional” também chama atenção para um risco: erros, vieses e limitações da base se propagam para tudo o que é construído sobre ela.

Overfitting

É o que acontece quando um modelo “decora” os dados de treinamento, incluindo ruídos e coincidências, e perde a capacidade de acertar em dados novos. Ele parece excelente nos exemplos que já viu e decepciona quando encontra a realidade. O sinal clássico é a diferença entre os resultados: ótimo no conjunto de treino, ruim no conjunto de validação ou teste. É como um aluno que decorou as respostas da prova anterior e não sabe resolver questões parecidas com números diferentes. O oposto é o underfitting: o modelo é simples demais para capturar os padrões e erra até nos dados de treino.

Parameters / Weights

São os valores numéricos internos de um modelo que o treinamento ajusta e que determinam como ele se comporta. Em redes neurais, esses valores são chamados de pesos: cada conexão entre neurônios artificiais tem um peso, e é o conjunto de todos eles que “guarda” o que o modelo aprendeu. Quando se diz que um modelo tem 8 bilhões ou 400 bilhões de parâmetros, está se falando da quantidade desses valores. Em geral, mais parâmetros significam mais capacidade de lidar com tarefas complexas, mas também mais custo para treinar e para executar. Não confunda parâmetros do modelo com hiperparâmetros, que são configurações escolhidas antes do treinamento, nem com parâmetros de geração, como a temperatura, que são ajustados a cada chamada de um LLM.

Small Language Model (SLM)

É um modelo de linguagem pequeno o bastante para rodar de forma barata, rápida e, em muitos casos, localmente, em servidores próprios ou até em dispositivos. Costuma ter entre 1 e 10 bilhões de parâmetros, contra centenas de bilhões dos maiores LLMs. Um SLM perde para os grandes modelos em raciocínio complexo e conhecimento amplo, mas empata ou até ganha em tarefas delimitadas, como classificar, extrair informações e formatar, especialmente depois de um fine-tuning com dados do domínio. A categoria cresceu a partir de 2023, com modelos como Phi (Microsoft), Gemma (Google) e versões pequenas do Llama (Meta).

Reranker / Cross-encoder

É um modelo que recebe uma consulta e um documento candidato juntos e produz uma pontuação de relevância mais precisa do que a comparação de embeddings. Enquanto a busca por embeddings codifica pergunta e documento separadamente (rápido, mas aproximado), o reranker lê os dois ao mesmo tempo e avalia se realmente combinam (mais lento, mas mais preciso). Por ser mais custoso, o reranker não é usado em toda a base. Ele atua em uma segunda etapa: a busca inicial recupera dezenas de candidatos e o reranker escolhe os poucos melhores. É um dos componentes mais eficazes para melhorar a qualidade de sistemas de RAG.

Label / Ground Truth

Rótulo é a resposta esperada associada a um exemplo: esta transação é fraude, esta foto contém um defeito, este chamado é sobre cobrança. É o que o modelo tenta aprender a prever no aprendizado supervisionado. Verdade de referência (ground truth) é o rótulo tomado como “verdade” para treinar e, principalmente, para avaliar o modelo. O termo vem do sensoriamento remoto, em que imagens de satélite eram conferidas com o que existia de fato no solo. Rótulos carregam julgamento humano, critérios do momento e decisões passadas. Por isso são uma das principais fontes de viés: se o rótulo estiver errado ou enviesado, o modelo aprende o erro como se fosse verdade.

Transformer

É a arquitetura de rede neural que está por trás de praticamente todos os grandes modelos de IA atuais, incluindo os LLMs. Foi apresentada em 2017 pelo Google em um artigo chamado “Attention Is All You Need”. Sua principal inovação é o mecanismo de atenção, que permite ao modelo analisar toda a sequência de entrada de uma vez e aprender quais partes são mais relevantes para cada parte da saída. Isso torna o treinamento mais eficiente e permite lidar com relações distantes em um texto. O Transformer escala bem com mais dados e mais computação, e foi isso que viabilizou os modelos fundacionais. Praticamente todo LLM é um Transformer, e as diferenças entre fornecedores estão nos dados, na escala e no alinhamento, não na arquitetura básica.