Taxa de sucesso da tarefa

Task Success Rate / Agent Completion Rate

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de GenAI e agentes

O que significa

É a proporção de tarefas que o sistema concluiu com sucesso, segundo um critério verificável. Não é “respondeu”, mas “resolveu”. Para agentes, inclui a conclusão dentro dos limites definidos (número de passos, tempo, custo) e sem intervenção humana. A taxa de loop, complementar, mede quantas execuções atingiram o teto de passos sem concluir. Pass@k é a variante em que se aceita sucesso em pelo menos uma de k tentativas.

Como usar na prática de produto

Em Produto, é a métrica que conecta IA a valor: o cliente teve o problema resolvido? Exige definir “sucesso” por tarefa de forma verificável, como chamado encerrado sem reabertura em 7 dias, reserva concluída, dado extraído que bate com o documento. Sem essa definição, mede-se atividade (quantas conversas) e não resultado (quantos problemas resolvidos). Por exemplo, um agente de reagendamento com 82% de sucesso e 10% de loop: o teto de passos e a ferramenta de “sem disponibilidade” precisam de ajuste.

Quando usar este termo ou outro

Use taxa de sucesso da tarefa como métrica primária de qualquer agente ou assistente orientado a resultado. Use fidelidade e relevância como métricas de qualidade da resposta, complementares. Use taxa de contenção como o equivalente em atendimento: casos resolvidos sem humano. Uma forma simples de diferenciar: taxa de sucesso mede se resolveu; qualidade da resposta mede como respondeu.

Exemplos de aplicação

Reagendamento: 82% de sucesso e 10% de loop indicando ajustes necessários.
Atendimento: chamado encerrado sem reabertura em 7 dias como critério de sucesso.
Extração: dado extraído que bate com o documento original.
Por tipo: acompanhar a taxa separadamente para cada tipo de tarefa.
Valor: usar como North Star de agentes, em vez de volume de conversas.

Como calcular

Fórmulas: Taxa de sucesso = tarefas concluídas com sucesso ÷ tarefas iniciadas. Taxa de loop = execuções que atingiram o teto de passos sem concluir ÷ total. Pass@k = tarefas com pelo menos um sucesso em k tentativas ÷ total. Passo a passo: 1. Defina o critério verificável de sucesso para cada tipo de tarefa. 2. Registre cada tarefa iniciada e seu desfecho: sucesso, escalada, falha, loop. 3. Calcule as proporções. 4. Acompanhe por tipo de tarefa, porque a média esconde tarefas com desempenho ruim. Exemplo: 500 tarefas iniciadas: 410 concluídas com sucesso, 40 escaladas a humano, 50 falharam ou entraram em loop. Taxa de sucesso = 82%. Taxa de loop = 10%. Como interpretar: Taxa de sucesso alta com taxa de loop alta indica que o agente resolve bem quando resolve, mas se perde em uma parcela relevante dos casos. Investigue os loops: costumam apontar para uma ferramenta mal descrita ou um cenário não previsto.

Origem do termo

Métrica de avaliação de agentes e assistentes conversacionais; consolidada em benchmarks agênticos (WebArena, SWE-bench, 2023-2024).

Fonte técnica

Zhou et al., WebArena (2023); Anthropic, Building Effective Agents