Reranking

É a etapa de reordenar os resultados recuperados usando um modelo mais preciso, chamado de reranker ou cross-encoder, que avalia a consulta e cada documento juntos. A lógica é em duas fases: a primeira busca recupera muitos candidatos de forma rápida e aproximada; o reranking escolhe, entre eles, os poucos melhores para enviar ao modelo de linguagem. O resultado é um contexto mais limpo e relevante, o que melhora a resposta e reduz alucinações.

Em Produto, o reranking é a melhoria de RAG com melhor custo-benefício. Uma configuração típica é recuperar 30 a 50 candidatos, reordenar e enviar apenas 3 a 8 ao modelo. O custo é de 100 a 300 milissegundos a mais por resposta, o que cabe na maioria das experiências de chat. Vale medir a precisão do contexto antes e depois para confirmar o ganho. Por exemplo, sem reranker, 4 dos 8 trechos enviados ao modelo podem ser irrelevantes, e o modelo mistura políticas; com reranker, 7 de 8 são relevantes e a resposta fica precisa.

Use reranking sempre que a precisão do contexto importa, o que é quase sempre. Pule apenas em cenários de latência extremamente crítica com uma base pequena e limpa. Use busca híbrida como a etapa anterior, para gerar bons candidatos. Uma forma simples de diferenciar: a busca encontra candidatos; o reranking escolhe os melhores.

Segunda etapa clássica em busca (learning to rank, 2005+); com cross-encoders neurais desde 2019.

Nogueira & Cho, Passage Re-ranking with BERT (2019); Cohere, Rerank documentation