Reranker

É um modelo que recebe uma consulta e um documento candidato juntos e produz uma pontuação de relevância mais precisa do que a comparação de embeddings. Enquanto a busca por embeddings codifica pergunta e documento separadamente (rápido, mas aproximado), o reranker lê os dois ao mesmo tempo e avalia se realmente combinam (mais lento, mas mais preciso). Por ser mais custoso, o reranker não é usado em toda a base. Ele atua em uma segunda etapa: a busca inicial recupera dezenas de candidatos e o reranker escolhe os poucos melhores. É um dos componentes mais eficazes para melhorar a qualidade de sistemas de RAG.

Em Produto, o reranker é uma das alavancas mais baratas para melhorar um assistente baseado em RAG. Um fluxo típico: a busca vetorial recupera 50 trechos candidatos e o reranker seleciona os 5 mais relevantes para enviar ao LLM. O efeito é um contexto mais limpo, o que reduz respostas erradas e alucinações, porque o modelo recebe menos ruído. Muitas vezes, adicionar um reranker melhora mais a qualidade do que trocar o LLM por um maior. O custo é latência: é mais uma etapa antes da resposta. Vale medir se ela cabe no orçamento de tempo da experiência.

Use reranker quando a precisão do contexto importa e a latência permite uma etapa a mais. Use apenas busca vetorial quando a latência é crítica, a base é pequena e limpa, ou os resultados já são bons. Use busca híbrida como a etapa anterior ao reranker, para gerar candidatos melhores. Uma forma simples de diferenciar: busca vetorial encontra rápido e aproximado; reranker escolhe devagar e preciso.

Cross-encoders com BERT (Nogueira & Cho, 2019) para reordenar resultados de busca; hoje oferecidos como serviço por Cohere, Voyage, Jina e outros.

Nogueira & Cho, Passage Re-ranking with BERT (2019); Microsoft Azure, RAG design guide