Busca híbrida

É a técnica de executar a busca lexical (BM25) e a busca vetorial em paralelo e fundir os resultados em um único ranking. O método mais comum é o Reciprocal Rank Fusion, em que cada documento recebe pontos de acordo com sua posição em cada uma das listas. O resultado captura tanto correspondências exatas (códigos, nomes) quanto correspondências de significado (sinônimos, paráfrases), no mesmo sistema. É considerada o padrão recomendado para RAG em ambientes corporativos.

Em Produto, a busca híbrida resolve os dois casos mais comuns de falha de um RAG: a pergunta com identificador exato, que a busca vetorial confunde, e a pergunta vaga, que a busca lexical não entende. O custo é executar duas buscas em vez de uma, mas a latência adicional costuma ser pequena e o ganho de qualidade, grande. Vale medir a recuperação (por exemplo, recall@k) antes e depois de adotar a busca híbrida, para confirmar o ganho no seu contexto.

Use busca híbrida como padrão para a maioria dos sistemas de RAG. Use só busca vetorial quando o domínio não tem identificadores nem termos exatos relevantes. Use só busca lexical quando os usuários sempre buscam por termos exatos e nunca por descrições. Uma forma simples de diferenciar: híbrida é a escolha segura; as outras são otimizações para casos específicos.

Combinação de busca lexical e vetorial; Reciprocal Rank Fusion (Cormack et al., 2009) é o método mais usado para fundir os rankings.

Cormack, Clarke & Buettcher, Reciprocal Rank Fusion (2009); Microsoft Azure AI Search, Hybrid search