Tracing de agentes

É a aplicação de traces e spans às interações com modelos de IA. Cada chamada ao modelo registra o prompt, os parâmetros, a resposta, os tokens e o custo. Cada ferramenta registra os argumentos e o resultado. Cada passo do loop de um agente vira um span. Permite reproduzir uma sessão inteira, comparar versões de prompt e alimentar evals com casos reais. Plataformas especializadas surgiram para isso a partir de 2023, e o OpenTelemetry padronizou as convenções em 2024.

Em Produto, o tracing torna o comportamento do agente auditável: “por que ele chamou essa ferramenta?” tem resposta. É também onde se coleta o feedback do usuário ligado à resposta exata que o gerou. Um cuidado importante são os dados pessoais nos traces: prompts e respostas podem conter informações sensíveis. É preciso definir retenção e mascaramento antes de ativar o registro. Por exemplo, comparar traces antes e depois de mudar a descrição de uma ferramenta e ver a taxa de chamadas válidas subir de 71% para 96%.

Use tracing de agentes em qualquer sistema com mais de uma chamada por tarefa. Use log simples apenas para sistemas com chamada única e sem ferramentas. Use mascaramento e retenção definida sempre que os traces podem conter dados pessoais. Uma forma simples de diferenciar: log registra que algo aconteceu; tracing registra como aconteceu, passo a passo.

Extensão do tracing distribuído para LLMs por plataformas como LangSmith, Langfuse e Arize (2023); convenções semânticas de GenAI no OpenTelemetry (2024).

OpenTelemetry, Semantic conventions for GenAI agent spans; Langfuse documentation, Tracing