Custo por solicitação e por tarefa bem-sucedida
Cost per Request / Cost per Successful Task / Tokens per Task
Métrica de custo
BásicoCategoria: Evals, testes e métricasSubcategoria: Métricas de custo
O que significa
O custo por solicitação é o gasto médio com modelo, infraestrutura e ferramentas em cada chamada. O custo por tarefa bem-sucedida é o gasto total dividido apenas pelas tarefas resolvidas: inclui o custo das que falharam, das novas tentativas e das escaladas. Tokens por tarefa é o consumo médio, útil para otimizar prompt e contexto.
O custo por tarefa bem-sucedida é a métrica de valor; o custo por solicitação é a métrica de eficiência.
Em agentes, que fazem muitas chamadas por tarefa, a diferença entre os dois pode ser grande.
Como usar na prática de produto
Em Produto, o custo deve ser estimado por transação, e não por mês, desde o PRD. É isso que define se a capacidade cabe no valor da transação, em quais segmentos e em qual canal.
Agentes multiplicam chamadas: o custo por tarefa de um agente pode ser 10 a 50 vezes o de uma chamada única. O custo por tarefa bem-sucedida é o número que vai para o decision memo.
Por exemplo, custo por tarefa de R$ 0,51 contra R$ 6,80 do atendimento humano equivalente. Mas só nas tarefas que o sistema resolve; nas escaladas, os dois custos se somam.
Quando usar este termo ou outro
Use custo por solicitação para otimizar prompts, contexto e escolha de modelo.
Use custo por tarefa bem-sucedida para decidir escalar, ajustar ou descontinuar uma capacidade.
Use tokens por tarefa para identificar desperdício de contexto.
Uma forma simples de diferenciar: custo por solicitação é eficiência técnica; custo por tarefa bem-sucedida é economia do produto.
Exemplos de aplicação
- Decision memo: R$ 0,51 por tarefa resolvida contra R$ 6,80 do atendimento humano.
- Agentes: custo por tarefa 10 a 50 vezes maior do que uma chamada única.
- Otimização: reduzir tokens por tarefa com prompt caching e contexto enxuto.
- PRD: estimar o custo por transação antes de construir.
- Escaladas: contabilizar o custo somado quando a IA falha e o humano assume.
Como calcular
Fórmulas:
Custo por solicitação = (custo de tokens de entrada + tokens de saída + ferramentas + infraestrutura) ÷ número de solicitações.
Custo por tarefa bem-sucedida = custo total do período ÷ tarefas concluídas com sucesso.
Tokens por tarefa = tokens totais consumidos ÷ tarefas.
Passo a passo:
1. Some todos os custos variáveis do período: fatura do fornecedor de modelo, ferramentas, infraestrutura.
2. Conte as solicitações e as tarefas concluídas com sucesso.
3. Divida o custo total por cada uma das contagens.
4. Compare o custo por tarefa com o valor que a tarefa gera.
Exemplo:
R$ 4.200 por mês, 10.000 solicitações, 8.200 tarefas concluídas com sucesso. Custo por solicitação = R$ 0,42. Custo por tarefa bem-sucedida = R$ 0,51.
Como interpretar:
Se o custo por tarefa bem-sucedida é muito maior do que o custo por solicitação, o sistema gasta muito em tentativas que não resolvem. Reduzir falhas e loops reduz o custo por tarefa sem mexer no preço do modelo.
Origem do termo
Unit economics aplicada a IA generativa; guias de FinOps para IA (FinOps Foundation, 2024).
Fonte técnica
FinOps Foundation, FinOps for AI; AWS Well-Architected Generative AI Lens, Cost optimization