Dicionário de Inteligência Artificial PM3

Dev / Staging / Production Environments

É a separação de ambientes em que o sistema roda. Desenvolvimento é onde se experimenta livremente. Homologação (staging) é onde se valida com dados e configuração próximos da produção, sem impacto em usuários reais. Produção é onde os usuários estão. Em IA, a homologação precisa usar a mesma versão de modelo e o mesmo índice de RAG da produção. Caso contrário, a validação não vale: o comportamento em produção será diferente do testado. É prática padrão de engenharia de software, com cuidados adicionais para sistemas probabilísticos.

Continuous Integration / Delivery for ML

É a automação da validação e da entrega de mudanças. Toda alteração de código, prompt, modelo ou dados passa por testes automáticos, incluindo avaliações de regressão, antes de ser integrada (integração contínua, CI), e é implantada por um pipeline controlado (entrega contínua, CD). Em Machine Learning, soma-se o treinamento contínuo (CT): retreinamento automático quando dados novos chegam ou drift é detectado. É o que transforma o conjunto de avaliação em uma suíte de testes que roda a cada mudança.

Concept Drift

É a mudança na relação entre a entrada e a saída: os mesmos sinais passam a significar outra coisa. Um padrão que indicava fraude vira comportamento normal; um perfil de cliente que não cancelava passa a cancelar. Diferente do data drift, a distribuição das entradas pode não mudar nada. O que muda é o que elas predizem. Por isso, só é detectável comparando as previsões do modelo com os resultados reais. É o tipo de drift mais difícil de perceber, porque nada parece diferente nos dados.

Data Drift

É a mudança na distribuição dos dados de entrada em relação aos dados com que o modelo foi treinado: novos perfis de cliente, sazonalidade, mudança de canal, um campo que passou a ser preenchido de forma diferente. O modelo continua funcionando e não gera nenhum erro. Mas ele está operando sobre uma realidade que não é mais a que aprendeu, e a qualidade cai sem que nada “quebre”. É um dos motivos pelos quais modelos precisam de monitoramento contínuo, e não apenas de avaliação no lançamento.

Canary Deployment / Feature Flag / Blue-Green

São padrões de lançamento progressivo. O deploy canário libera a nova versão para uma fatia pequena do tráfego (1% a 5%), monitora e amplia gradualmente. A feature flag é uma chave de configuração que liga ou desliga uma funcionalidade sem novo deploy, permitindo desligamento imediato. O blue-green mantém duas versões completas e alterna o tráfego entre elas, para rollback instantâneo. O nome “canário” vem dos pássaros usados em minas de carvão para detectar gás antes que afetasse os mineiros. Juntos, esses padrões reduzem o risco de lançar mudanças em sistemas probabilísticos.

LLM Operations (LLMOps) / GenAIOps

É o conjunto de práticas para operar aplicações baseadas em modelos de linguagem: versionar prompts e configurações, avaliar com conjuntos de casos e juízes automáticos, monitorar qualidade, custo e latência por chamada, gerenciar mudanças de modelo feitas pelo fornecedor, controlar guardrails e rastrear cada resposta até o contexto que a gerou. A diferença para o MLOps é o artefato central. Como o modelo é de terceiros, o que o time controla e precisa gerenciar são o prompt, o contexto e a avaliação. Surgiu em 2023, quando ficou claro que produtos sobre LLMs tinham necessidades operacionais próprias.

Machine Learning Operations (MLOps)

É o conjunto de práticas para levar modelos de Machine Learning à produção e mantê-los funcionando ao longo do tempo: versionar dados e modelos, automatizar treinamento e implantação, monitorar desempenho e drift, e retreinar quando necessário. Nasce da constatação de que o modelo é a menor parte de um sistema de ML. O resto, pipelines, dados, infraestrutura, monitoramento, é onde a maior parte do trabalho e da dívida técnica se acumula. É a adaptação, para Machine Learning, das práticas de DevOps que a engenharia de software já usa.

Provider Drift / Prompt Drift

Provider drift é quando o fornecedor atualiza o modelo por trás da API e o comportamento do seu produto muda sem que você tenha alterado nada: formato das respostas, frequência de recusas, qualidade em determinadas tarefas. Prompt drift é o acúmulo de mudanças no prompt ao longo do tempo, sem versionamento nem avaliação, até que ninguém sabe mais por que ele está do jeito que está. Knowledge drift é a base de RAG que desatualiza enquanto o mundo muda. Os três são formas de “dívida de IA” específicas de produtos sobre LLMs.

Retraining / Recalibration / Model Retirement

Retreinamento é gerar uma nova versão do modelo com dados recentes, por cronograma ou por gatilho de drift. Recalibração é ajustar apenas os limiares ou a calibração das probabilidades, sem retreinar. Descontinuação é desligar uma capacidade quando ela não gera mais valor, custa mais do que entrega ou não é mais mantida. A ideia de que modelos têm “data de validade” vem da gestão de risco de modelos em bancos, onde é obrigatória. Toda capacidade de IA deveria nascer com data de reavaliação e critério de desligamento definidos.

Rollback

É a ação de voltar à versão anterior quando a nova apresenta problema. Em sistemas de IA, envolve mais do que código: modelo, prompt, configuração de guardrails e, às vezes, o índice de RAG. Só é possível se tudo isso está versionado e a versão anterior continua disponível e funcional. É a rede de segurança de qualquer mudança em produção.

Shadow Deployment / Shadow Mode

É o padrão de rodar a nova versão em paralelo à atual, sobre o tráfego real, registrando o que ela teria respondido, sem afetar o resultado entregue ao usuário. Permite comparar as duas versões sobre exatamente os mesmos casos: quanto cada uma acerta, quanto custa, quanto demora, antes de expor qualquer usuário à nova. O modelo champion-challenger, comum em crédito e risco, formaliza a ideia: a versão atual (campeã) só é substituída se a desafiante provar ser melhor.

Dataset / Model / Application Versioning

É a prática de registrar cada versão de dataset, modelo, prompt e código de forma que qualquer resultado possa ser reproduzido: qual modelo, treinado com quais dados, com qual configuração, avaliado com qual conjunto, produziu determinada saída. O objetivo é a reprodutibilidade. O rastreamento de experimentos é a prática complementar, que registra o que foi tentado e com que resultado. É a extensão, para IA, do controle de versão que a engenharia de software usa há décadas com o código.