LLMOps

É o conjunto de práticas para operar aplicações baseadas em modelos de linguagem: versionar prompts e configurações, avaliar com conjuntos de casos e juízes automáticos, monitorar qualidade, custo e latência por chamada, gerenciar mudanças de modelo feitas pelo fornecedor, controlar guardrails e rastrear cada resposta até o contexto que a gerou. A diferença para o MLOps é o artefato central. Como o modelo é de terceiros, o que o time controla e precisa gerenciar são o prompt, o contexto e a avaliação. Surgiu em 2023, quando ficou claro que produtos sobre LLMs tinham necessidades operacionais próprias.

Em Produto, a dívida de IA em produtos baseados em LLM tem cara conhecida: o prompt sem dono, a base de RAG desatualizada e o modelo que ninguém reavalia desde o lançamento. LLMOps é o antídoto. A regra é que toda capacidade nasce com versão, avaliação, monitoramento, data de reavaliação e critério de desligamento. Sem isso, o produto degrada em silêncio. Por exemplo, um painel por capacidade que mostra a versão do prompt, o modelo em uso, a taxa de aprovação na avaliação semanal, o custo por tarefa e o tempo de resposta.

Use LLMOps para qualquer produto com modelo de terceiros no fluxo. Use MLOps para modelos próprios; as duas disciplinas se complementam quando há ambos. Use observabilidade e avaliação como práticas compartilhadas entre as duas. Uma forma simples de diferenciar: em MLOps, o modelo é o artefato; em LLMOps, o prompt e o contexto são os artefatos.

Termo de 2023, quando ficou claro que operar produtos sobre LLMs exigia práticas diferentes do MLOps clássico.

Google Cloud, MLOps for generative AI; Microsoft Azure, LLMOps guidance; Hamel Husain, Your AI Product Needs Evals