Cascata de modelos

É o padrão de usar primeiro um modelo pequeno e barato e escalar para um modelo maior apenas quando necessário: quando a confiança é baixa, quando a tarefa é detectada como complexa ou quando a validação da resposta falha. O roteamento é uma variante em que um classificador decide de antemão qual modelo deve atender cada tipo de pedido, sem passar pelo modelo pequeno primeiro. O objetivo é reduzir o custo médio mantendo a qualidade nos casos difíceis, que são a minoria.

Em Produto, se 80% das perguntas são simples, não faz sentido pagar o modelo de ponta em 100% delas. A cascata permite reservar o modelo caro para os 20% que precisam. O que precisa ser definido é o critério de escalada: um limiar de confiança, um tipo de pergunta, uma falha de formato. E vale medir o custo por tarefa bem-sucedida antes e depois, para confirmar o ganho. Um cuidado é a latência: quando a escalada acontece, o sistema fez duas chamadas em vez de uma. Se isso não cabe na experiência, o roteamento prévio é uma alternativa.

Use cascata quando a dificuldade dos pedidos é desigual e o custo do modelo grande pesa. Use roteamento quando é possível identificar o tipo de pedido antes de responder. Use modelo único quando o volume é baixo ou a latência não permite duas chamadas. Uma forma simples de diferenciar: cascata tenta o barato e escala se precisar; roteamento decide antes qual usar.

Padrão de otimização de custo (FrugalGPT, Chen et al., Stanford, 2023); implementado por gateways e roteadores.

Chen, Zaharia & Zou, FrugalGPT (2023); AWS Well-Architected Generative AI Lens