Observabilidade

É a capacidade de entender o que um sistema está fazendo por dentro a partir do que ele emite por fora. Os três pilares clássicos são logs (registros de eventos), métricas (números acompanhados ao longo do tempo) e traces (o caminho completo de cada requisição pelo sistema). Em sistemas de IA, a observabilidade inclui registrar, para cada interação, o prompt enviado, o contexto recuperado, a resposta gerada, as ferramentas chamadas, os tokens consumidos, a latência e o custo. Sem isso, um erro do modelo é irreproduzível: ninguém sabe o que ele viu quando errou.

Em Produto, sem observabilidade, o time só sabe que a capacidade “está estranha” quando alguém reclama. E, mesmo então, não consegue explicar o que aconteceu. Vale exigir desde o MVP que cada resposta seja rastreável até o prompt, o contexto e a versão do modelo que a gerou. É isso que permite construir o conjunto de avaliação a partir de casos reais e provar que uma melhoria de fato melhorou. Por exemplo, um cliente reclama que o assistente informou uma franquia errada. O registro mostra que o trecho recuperado era de um contrato antigo: o problema está no índice, não no modelo.

Use observabilidade para o conjunto de práticas e ferramentas que tornam o sistema compreensível. Use monitoramento para a parte específica de acompanhar métricas e disparar alertas. Use tracing para o registro do caminho de uma requisição individual. Use evals para medir qualidade offline; observabilidade mede o que acontece em produção. Uma forma simples de diferenciar: observabilidade é enxergar; monitoramento é vigiar; tracing é seguir o rastro de um caso.

Teoria de controle (Kalman, 1960): um sistema é observável se seu estado interno pode ser inferido pelas saídas. Adotado pela engenharia de software por volta de 2017 (Honeycomb, Google SRE); estendido a LLMs e agentes a partir de 2023.

Google SRE Book, Monitoring Distributed Systems; OpenTelemetry documentation, Semantic conventions for generative AI