Dicionário de Inteligência Artificial PM3

Index Refresh / Re-embedding

É o processo de manter o índice sincronizado com a base de conhecimento: adicionar documentos novos, reindexar os que mudaram e remover os que foram revogados. Re-embedding é recalcular todos os vetores, o que se torna necessário quando o modelo de embeddings é trocado. O critério de qualidade é a atualidade (freshness): quanto tempo passa entre a mudança em um documento e sua disponibilidade na busca. Um índice desatualizado é uma das causas mais comuns de respostas erradas em sistemas de RAG que “funcionavam” no lançamento.

Vector Database / Vector Index

É o sistema que armazena os embeddings e permite encontrar rapidamente os vetores mais próximos de uma consulta. Para fazer isso em milhões de vetores, usa índices aproximados (ANN), que trocam um pouco de exatidão por muita velocidade. Além dos vetores, guarda metadados (data, área, cliente, status) para filtrar resultados, e o texto original de cada chunk para devolvê-lo ao modelo. Pode ser um serviço dedicado ou uma extensão do banco de dados que a empresa já usa, como o pgvector no PostgreSQL.

Knowledge Base / Corpus

É o conjunto de documentos que um sistema de RAG pode consultar para responder: manuais, políticas, contratos, FAQs, histórico de casos, documentação de produto. A qualidade da base define o teto de qualidade do produto. Uma base desatualizada, incompleta, com documentos contraditórios ou sem controle de quem pode ver o quê produz respostas erradas com aparência de oficial. Por isso, a base de conhecimento precisa de curadoria: dono, critérios de inclusão, revisão periódica e regras de acesso.

BM25 / Lexical Search

É a busca por correspondência de palavras, em que os documentos são pontuados de acordo com a frequência dos termos da consulta e com a raridade desses termos no conjunto todo. BM25 é o algoritmo mais usado para isso, e está por trás de ferramentas como Elasticsearch. A busca lexical não entende sinônimos nem significado: procura exatamente o que foi escrito. Por isso, é imbatível para termos exatos, como códigos, números de contrato, nomes próprios e siglas. É rápida, barata e explicável: dá para saber exatamente por que um documento apareceu no resultado.

Hybrid Search

É a técnica de executar a busca lexical (BM25) e a busca vetorial em paralelo e fundir os resultados em um único ranking. O método mais comum é o Reciprocal Rank Fusion, em que cada documento recebe pontos de acordo com sua posição em cada uma das listas. O resultado captura tanto correspondências exatas (códigos, nomes) quanto correspondências de significado (sinônimos, paráfrases), no mesmo sistema. É considerada o padrão recomendado para RAG em ambientes corporativos.

Vector / Semantic Search

É a busca que encontra os conteúdos cujos embeddings estão mais próximos do embedding da consulta. Como os embeddings representam significado, a busca vetorial recupera por sentido: sinônimos, paráfrases e perguntas formuladas de maneiras diferentes chegam aos mesmos resultados. Para funcionar rápido em milhões de vetores, usa índices de vizinhos mais próximos aproximados (ANN), que aceitam uma pequena perda de exatidão em troca de muita velocidade. É a base do RAG, da busca semântica e de muitos sistemas de recomendação.

Chunking

É a técnica de dividir documentos em pedaços menores, chamados de chunks, para que possam ser indexados e recuperados individualmente. Cada chunk precisa ser pequeno o bastante para ser encontrado com precisão e grande o bastante para carregar um sentido completo. As principais decisões são o tamanho (tipicamente entre 200 e 800 tokens), a sobreposição entre chunks vizinhos (para não cortar uma ideia ao meio) e a estratégia de divisão: por tamanho fixo, por parágrafo, por seção do documento ou por similaridade semântica. Não existe um tamanho certo universal. O melhor chunking depende do tipo de documento e do tipo de pergunta.

Embeddings / Vector Representation

São representações numéricas do significado de um conteúdo. Um texto, uma imagem ou um item é transformado em um vetor, uma lista de centenas ou milhares de números, de forma que conteúdos com significados parecidos fiquem próximos nesse espaço. É o que permite buscar por sentido, e não apenas por palavras exatas: “carro batido” encontra trechos sobre “avaria na lataria” mesmo sem nenhuma palavra em comum. Existem também representações esparsas, usadas na busca lexical (como o BM25), que registram a presença de termos. Embeddings densos capturam semântica; representações esparsas capturam termos exatos; a busca híbrida usa as duas.

Retrieval-Augmented Generation (RAG)

É um padrão de arquitetura em que, antes de gerar a resposta, o sistema busca trechos relevantes em uma base de conhecimento (documentos, políticas, contratos, manuais) e os inclui no prompt. O modelo responde com base no que foi recuperado, e pode citar a fonte. A ideia resolve dois problemas dos LLMs: eles não conhecem informações da sua empresa, e o conhecimento deles tem data de corte. Com RAG, o modelo passa a responder com base em dados atuais e específicos, sem precisar ser retreinado. O RAG não resolve tudo. Se o trecho certo não for recuperado, o modelo responde errado com fluência. Por isso, a qualidade da busca é tão importante quanto a qualidade do modelo.

Document Ingestion / Parsing

É a etapa que transforma documentos brutos (PDFs, arquivos Word, planilhas, páginas web, e-mails) em texto limpo e estruturado, pronto para ser indexado. Inclui extrair o conteúdo (parsing), limpar ruídos (cabeçalhos repetidos, rodapés, marcas d'água) e preservar a estrutura (títulos, tabelas, hierarquia de seções). Também é o momento de enriquecer cada documento com metadados úteis, como data, autor, área e status de vigência. Erros nessa etapa se propagam para todo o sistema: uma tabela mal extraída vira texto sem sentido, e nenhuma busca ou modelo consegue recuperar o que foi perdido.

Provenance

É o registro de onde veio cada trecho usado em uma resposta: qual documento, qual versão, qual seção, quando foi indexado, quem publicou. Permite auditar uma resposta depois que ela foi dada, corrigir a fonte quando está errada e explicar por que o sistema disse o que disse. Diferente da citação de fonte, que é mostrada ao usuário, a proveniência é um registro interno, usado para operação, depuração e auditoria.

Agentic RAG

É uma evolução do RAG em que o modelo decide se, quando e como buscar. Em vez de uma única busca automática antes de responder, o modelo pode reformular a pergunta, fazer várias buscas, escolher entre fontes diferentes, verificar se o que encontrou responde de fato e buscar de novo se não. Isso o torna mais robusto para perguntas complexas, que exigem juntar informações de vários lugares ou esclarecer ambiguidades. O custo é mais chamadas ao modelo, mais latência e mais dificuldade de avaliar, porque o caminho até a resposta varia a cada pergunta.

Access-aware Retrieval / Tenant Isolation

É a garantia de que a busca só retorna documentos que o usuário atual tem permissão de ver. O filtro por identidade e papel é aplicado antes da recuperação, na consulta ao índice, e nunca depois, e nunca confiando que o modelo vai “decidir não mostrar”. Isolamento por tenant é o mesmo princípio aplicado a produtos que atendem vários clientes: os dados de cada um ficam em índices ou espaços separados, sem possibilidade de mistura. É um requisito de segurança e privacidade, não uma funcionalidade opcional.

Contextual Retrieval

É a técnica de gerar, antes de indexar, uma frase de contexto para cada chunk, situando-o no documento de origem, e adicioná-la ao início do trecho. Por exemplo: “Este trecho é da cláusula de franquia do contrato de locação padrão, vigente desde 2025”. Com isso, tanto o embedding quanto o índice lexical passam a carregar esse contexto, e chunks que isoladamente seriam ambíguos se tornam recuperáveis. Resolve o problema clássico do trecho que diz “o valor é de R$ 2.500” sem dizer valor de quê.

Query Rewriting / Expansion / Decomposition

É o conjunto de técnicas que transformam a pergunta do usuário antes de fazer a busca, para melhorar a recuperação. Inclui corrigir erros, expandir com sinônimos, incorporar o contexto da conversa (“e o premium?” vira “qual a cobertura do plano premium?”), quebrar uma pergunta composta em subperguntas ou gerar várias variantes e fundir os resultados. É especialmente útil quando a pergunta original é vaga, curta ou só faz sentido dentro do histórico da conversa. Uma variante conhecida, o HyDE, pede ao modelo que gere uma resposta hipotética e usa esse texto para buscar, já que ele tende a se parecer mais com os documentos do que a pergunta.

Reranking

É a etapa de reordenar os resultados recuperados usando um modelo mais preciso, chamado de reranker ou cross-encoder, que avalia a consulta e cada documento juntos. A lógica é em duas fases: a primeira busca recupera muitos candidatos de forma rápida e aproximada; o reranking escolhe, entre eles, os poucos melhores para enviar ao modelo de linguagem. O resultado é um contexto mais limpo e relevante, o que melhora a resposta e reduz alucinações.