Provider drift e prompt drift

Provider drift é quando o fornecedor atualiza o modelo por trás da API e o comportamento do seu produto muda sem que você tenha alterado nada: formato das respostas, frequência de recusas, qualidade em determinadas tarefas. Prompt drift é o acúmulo de mudanças no prompt ao longo do tempo, sem versionamento nem avaliação, até que ninguém sabe mais por que ele está do jeito que está. Knowledge drift é a base de RAG que desatualiza enquanto o mundo muda. Os três são formas de “dívida de IA” específicas de produtos sobre LLMs.

Em Produto, três práticas simples previnem a maior parte desses problemas. Primeiro, fixar a versão do modelo em produção, sem usar o alias “mais recente”, e rodar a avaliação de regressão ao migrar, tratando a migração como troca de fornecedor. Segundo, versionar prompts, com número, dono e avaliação. Terceiro, definir um acordo de atualidade para a base de conhecimento. Sem isso, a qualidade percebida cai aos poucos e ninguém sabe apontar a causa. Por exemplo, quando o fornecedor anuncia a descontinuação da versão fixada, a migração é agendada com avaliação completa, e não feita por atualização automática.

Use provider drift quando o que mudou foi o modelo do fornecedor. Use prompt drift quando o que mudou foram as suas instruções, sem controle. Use knowledge drift quando o que mudou foi o mundo, e a base não acompanhou. Uma forma simples de diferenciar: provider drift é o fornecedor mudando; prompt drift é você mudando sem registro; knowledge drift é a realidade mudando.

Termos de LLMOps (2023); Chen, Zaharia & Zou documentaram mudanças de comportamento do GPT-4 entre versões (How is ChatGPT's behavior changing over time?, 2023).

Chen, Zaharia & Zou, How Is ChatGPT's Behavior Changing over Time? (2023); OpenAI Platform docs, Model deprecations