Retreinamento e reavaliação

Retreinamento é gerar uma nova versão do modelo com dados recentes, por cronograma ou por gatilho de drift. Recalibração é ajustar apenas os limiares ou a calibração das probabilidades, sem retreinar. Descontinuação é desligar uma capacidade quando ela não gera mais valor, custa mais do que entrega ou não é mais mantida. A ideia de que modelos têm “data de validade” vem da gestão de risco de modelos em bancos, onde é obrigatória. Toda capacidade de IA deveria nascer com data de reavaliação e critério de desligamento definidos.

Em Produto, a pergunta “quem decide retreinar? existe alguém?” muitas vezes não tem resposta. Vale definir no contrato da capacidade: o gatilho (drift, cronograma, mudança de política), o dono, o processo (sombra, canário) e o critério de desligamento. A dívida de IA escala com a adoção. Uma organização com dezenas de capacidades precisa de política de desligamento tanto quanto de política de criação, senão acumula modelos zumbis que ninguém usa e ninguém desliga. Por exemplo, um modelo de propensão com retreino trimestral automático, reavaliação anual do caso de uso e desligamento se a adoção cair abaixo de 20% por dois trimestres.

Use recalibração quando apenas o limiar ou a calibração desalinhou. Use retreinamento quando o padrão nos dados mudou. Use descontinuação quando o uso ou o valor desapareceu. Uma forma simples de diferenciar: recalibrar ajusta; retreinar renova; descontinuar encerra.

Prática de MLOps; a ideia de 'data de validade' de modelos vem da gestão de risco de modelos em bancos (SR 11-7, Federal Reserve, 2011).

Google Cloud, MLOps; Federal Reserve SR 11-7, Guidance on Model Risk Management (2011)