Eval offline e online

O eval offline avalia o sistema sobre um conjunto fixo de casos, sem usuários, antes de lançar. É rápido, repetível e controlado. O eval online avalia em produção, sobre tráfego real, por amostragem humana, feedback do usuário, métricas de negócio ou testes A/B. Captura o que o offline não vê: perguntas inesperadas, contexto real, reação das pessoas. Os dois são necessários e precisam estar conectados por uma hipótese explícita sobre como a melhoria em um se reflete no outro.

Em Produto, o eval offline responde “a mudança é segura?” e o online responde “a mudança funcionou?”. As duas perguntas são diferentes, e as duas importam. Vale definir antes qual métrica online deve se mover quando a métrica offline melhora. Se a relação não existe, o eval offline está medindo a coisa errada. Por exemplo: offline, a fidelidade à fonte subiu de 0,84 para 0,93; online, a taxa de escalonamento para humanos caiu de 18% para 12% em três semanas. A hipótese se confirmou.

Use eval offline para toda mudança, antes de produção. Use eval online contínuo, com amostragem, para acompanhar o produto em uso. Use teste A/B quando há hipótese de impacto no comportamento do usuário. Uma forma simples de diferenciar: offline é o laboratório; online é o mundo real.

Distinção clássica de sistemas de recomendação e busca (anos 2000); aplicada a LLMs em LLMOps.

Google Cloud, MLOps: monitoring; Hamel Husain, Your AI Product Needs Evals