Concept drift

Concept Drift

Mudança

Intermediário

Categoria: MLOps, LLMOps e ciclo de vidaSubcategoria: Drift e manutenção

O que significa

É a mudança na relação entre a entrada e a saída: os mesmos sinais passam a significar outra coisa. Um padrão que indicava fraude vira comportamento normal; um perfil de cliente que não cancelava passa a cancelar. Diferente do data drift, a distribuição das entradas pode não mudar nada. O que muda é o que elas predizem. Por isso, só é detectável comparando as previsões do modelo com os resultados reais. É o tipo de drift mais difícil de perceber, porque nada parece diferente nos dados.

Como usar na prática de produto

Em Produto, concept drift é o drift mais perigoso porque é invisível nas variáveis de entrada. Detectá-lo exige coletar o resultado real (o que de fato aconteceu) e comparar continuamente com o que o modelo previu. Isso exige um pipeline que junte previsão e resultado, e uma definição do atraso aceitável: fraude confirmada leva semanas para ser conhecida; churn pode levar meses. Por exemplo, o recall de fraude cai de 0,82 para 0,71 em seis semanas sem mudança nas variáveis: os fraudadores mudaram de tática, e o modelo ainda procura a tática antiga.

Quando usar este termo ou outro

Suspeite de concept drift quando as variáveis parecem estáveis, mas a métrica de negócio cai. Suspeite de data drift quando as variáveis de entrada mudaram visivelmente. Suspeite de provider drift quando nada mudou nos seus dados e o modelo é de terceiros. Uma forma simples de diferenciar: data drift se vê nos dados; concept drift só se vê nos resultados.

Exemplos de aplicação

Fraude: fraudadores mudam de tática e o recall cai sem mudança nas variáveis.
Churn: motivos de cancelamento mudam após uma alteração de preço.
Demanda: uma mudança de comportamento do consumidor invalida o padrão aprendido.
Pipeline: juntar previsão e resultado real para permitir a comparação.
Alerta: definir limiar e duração para evitar alarmes por variação normal.

Como calcular

Fórmula: Compare a métrica de qualidade do modelo (precisão, recall, erro médio) em janelas móveis sobre os casos com resultado conhecido, contra o valor de referência do lançamento. Passo a passo: 1. Monte um pipeline que junte cada previsão ao resultado real quando ele ficar disponível. 2. Defina uma janela de tempo (por exemplo, duas semanas) e calcule a métrica de qualidade nessa janela. 3. Compare com a métrica de referência medida no lançamento. 4. Defina um limiar de alerta, como “queda de mais de 5 pontos por duas janelas seguidas”. Exemplo: O recall de fraude no lançamento era 0,82. Nas últimas seis semanas, caiu para 0,71, sem mudança nas variáveis de entrada. A queda de 11 pontos ultrapassa o limiar de 5 e indica concept drift. Como interpretar: Queda sustentada da métrica com entradas estáveis indica que a relação mudou e o modelo precisa ser retreinado com dados recentes. Quedas pontuais podem ser ruído; o limiar e a duração evitam alarmes falsos.

Origem do termo

Schlimmer & Granger (1986) e Widmer & Kubat (1996); central na literatura de MLOps.

Fonte técnica

Gama et al., A Survey on Concept Drift Adaptation (2014); Google Cloud, MLOps