Ranking

É a tarefa de ordenar um conjunto de itens de acordo com sua relevância para uma pessoa ou uma consulta. Em vez de decidir se cada item é bom ou ruim, o modelo decide qual deve aparecer primeiro, qual em segundo, e assim por diante. É a tarefa por trás dos resultados de busca, das listas de recomendação e da etapa de reranking em sistemas de RAG, em que os trechos recuperados são reordenados antes de chegar ao modelo de linguagem. A qualidade é avaliada olhando a posição dos itens certos, e não apenas se foram encontrados. Um resultado correto na décima posição vale muito menos do que na primeira, porque a maioria das pessoas só olha o topo da lista.

Em Produto, sempre que uma tela mostra uma lista, a ordem dessa lista é parte central do produto. Pequenas mudanças de ordenação podem mover conversão, engajamento e satisfação de forma significativa. O papel de Produto é definir o que “relevante” significa naquele contexto: o mais provável de converter, o mais recente, o mais próximo, o mais bem avaliado, ou uma combinação. Essa definição vira a métrica que o modelo tenta otimizar. Mudanças de ranking devem ser testadas com experimentos controlados, porque o efeito pode ser diferente do esperado. E vale acompanhar efeitos colaterais, como a concentração de exposição em poucos itens.

Use ranking quando o que importa é a ordem dos itens apresentados. Use classificação quando basta decidir se cada item entra ou não em uma categoria, sem se preocupar com a ordem entre eles. Use recomendação para falar do sistema completo que sugere itens a uma pessoa; ranking é a tarefa técnica de ordenação dentro dele. Uma forma simples de diferenciar: classificação decide “entra ou não”; ranking decide “em que posição”.

Recuperação de informação clássica; 'learning to rank' consolidou-se com Burges et al. (RankNet, Microsoft, 2005).

Liu, Learning to Rank for Information Retrieval (2009); Google Machine Learning Glossary