Modelo de embeddings

É um modelo que transforma um texto (ou uma imagem) em um vetor numérico, uma lista de centenas ou milhares de números, de forma que conteúdos com significados parecidos fiquem próximos nesse espaço. A frase “como cancelar minha assinatura” e a frase “quero encerrar o plano” ficam próximas, mesmo sem palavras em comum. Esses vetores são chamados de embeddings. Com eles, é possível comparar textos por significado, e não apenas por palavras iguais. É a base da busca semântica, do RAG, de recomendações por conteúdo e do agrupamento de textos. Modelos de embeddings são encoders: entendem e representam, mas não geram texto.

Em Produto, a escolha do modelo de embeddings define a qualidade da recuperação em um sistema de RAG mais do que a escolha do LLM. Se os trechos certos não são encontrados, nenhum modelo de linguagem vai responder bem. Por isso, vale avaliar o modelo de embeddings com perguntas e documentos do seu próprio domínio. Rankings públicos ajudam a começar, mas não refletem o vocabulário e o tipo de texto da sua base. Também é importante saber que trocar o modelo de embeddings exige reindexar toda a base de conhecimento, o que tem custo e tempo. A escolha deve ser feita com cuidado e revisada raramente.

Use modelo de embeddings quando a tarefa é encontrar, comparar ou agrupar conteúdos por significado. Use reranker quando, depois de encontrar candidatos, é preciso ordená-los com mais precisão. Use LLM para responder ou gerar a partir do que foi encontrado. Uma forma simples de diferenciar: embeddings encontram o parecido; reranker ordena com precisão; LLM responde.

word2vec (Mikolov et al., Google, 2013) popularizou embeddings de palavras; Sentence-BERT (2019) e os modelos de embedding de OpenAI, Cohere e Google levaram a frases e documentos.

Mikolov et al., word2vec (2013); Reimers & Gurevych, Sentence-BERT (2019)