CI/CD para IA

É a automação da validação e da entrega de mudanças. Toda alteração de código, prompt, modelo ou dados passa por testes automáticos, incluindo avaliações de regressão, antes de ser integrada (integração contínua, CI), e é implantada por um pipeline controlado (entrega contínua, CD). Em Machine Learning, soma-se o treinamento contínuo (CT): retreinamento automático quando dados novos chegam ou drift é detectado. É o que transforma o conjunto de avaliação em uma suíte de testes que roda a cada mudança.

Em Produto, CI/CD é o que impede “mexi no prompt e quebrou outra coisa”. A regra é que nenhuma mudança em prompt ou modelo chega à produção sem passar automaticamente pelo conjunto de avaliação. Isso muda a cultura: o eval deixa de ser algo que se roda de vez em quando e passa a ser uma barreira automática, como os testes de código. Por exemplo, um pull request que altera o prompt dispara a execução de 120 casos de avaliação; se a taxa de aprovação cair abaixo de 92%, a mudança é bloqueada.

Use CI/CD assim que houver mais de uma pessoa alterando prompts ou modelos. Use avaliação manual obrigatória como mínimo antes disso. Use treinamento contínuo (CT) quando há modelos próprios que precisam de retreinamento por gatilho. Uma forma simples de diferenciar: CI testa a mudança; CD entrega a mudança; CT retreina o modelo.

CI/CD vem do DevOps (anos 2000); aplicado a ML no guia de MLOps do Google (2020), que adiciona CT (continuous training).

Google Cloud, MLOps: Continuous delivery and automation pipelines in ML