Data drift

Data Drift

Mudança

Intermediário

Categoria: MLOps, LLMOps e ciclo de vidaSubcategoria: Drift e manutenção

O que significa

É a mudança na distribuição dos dados de entrada em relação aos dados com que o modelo foi treinado: novos perfis de cliente, sazonalidade, mudança de canal, um campo que passou a ser preenchido de forma diferente. O modelo continua funcionando e não gera nenhum erro. Mas ele está operando sobre uma realidade que não é mais a que aprendeu, e a qualidade cai sem que nada “quebre”. É um dos motivos pelos quais modelos precisam de monitoramento contínuo, e não apenas de avaliação no lançamento.

Como usar na prática de produto

Em Produto, data drift explica por que um modelo que funcionava bem começa a errar sistematicamente depois de uma mudança no negócio: uma nova linha de produtos, um novo canal de aquisição, uma mudança de tabela de preços. Vale monitorar a distribuição das principais variáveis em produção contra a do treino, e definir quem decide retreinar quando o desvio ultrapassa o limiar. Por exemplo, o indicador de estabilidade da variável “idade do produto” salta após a renovação do catálogo, e o retreinamento é agendado antes que os erros cheguem ao cliente.

Quando usar este termo ou outro

Use data drift quando a distribuição das entradas mudou. Use concept drift quando a relação entre entrada e saída mudou, mesmo que as entradas pareçam iguais. Use provider drift quando o que mudou foi o modelo do fornecedor, e não os seus dados. Uma forma simples de diferenciar: data drift é o mundo mudando na entrada; concept drift é o significado mudando; provider drift é o modelo mudando.

Exemplos de aplicação

Renovação de catálogo: PSI da idade do produto dispara e o retreino é agendado.
Novo canal: perfil dos usuários muda e o modelo de propensão perde precisão.
Sazonalidade: padrões de dezembro diferem dos de treino em março.
Coleta: um campo passa a ser preenchido de outra forma após mudança no formulário.
Monitoramento: painel com PSI das principais variáveis atualizado semanalmente.

Como calcular

Fórmula (PSI, Population Stability Index): PSI = soma, para cada faixa de valores, de (proporção em produção − proporção no treino) × ln(proporção em produção ÷ proporção no treino). Passo a passo: 1. Escolha uma variável importante para o modelo. 2. Divida seus valores em faixas (por exemplo, 10 faixas de mesmo tamanho). 3. Calcule a proporção de registros em cada faixa no conjunto de treino e no período atual de produção. 4. Aplique a fórmula e some os resultados de todas as faixas. 5. Repita para cada variável relevante, em janelas periódicas (semanal ou mensal). Exemplo: A variável “idade do produto” tinha PSI de 0,05 no mês anterior e passa a 0,31 após a renovação do catálogo. O valor indica mudança relevante na distribuição. Como interpretar: PSI abaixo de 0,1: estável. Entre 0,1 e 0,25: atenção, vale investigar. Acima de 0,25: drift relevante, considerar retreinamento. Alternativas: teste de Kolmogorov-Smirnov para variáveis contínuas e distância de Jensen-Shannon para categóricas.

Origem do termo

Literatura de aprendizado em ambientes não estacionários (Gama et al., 2014) e prática de MLOps.

Fonte técnica

Gama et al., A Survey on Concept Drift Adaptation (2014); Google Cloud, MLOps: monitoring