Taxa de intervenção humana
Human Intervention Rate / Escalation Rate / Containment Rate
Métrica operacional
BásicoCategoria: Evals, testes e métricasSubcategoria: Métricas de GenAI e agentes
O que significa
São três métricas que descrevem o mesmo fluxo por ângulos diferentes. A taxa de intervenção é a proporção de casos em que uma pessoa precisou entrar (aprovar, corrigir, assumir). A taxa de escalonamento é a proporção que o sistema encaminhou a um humano por baixa confiança ou regra. A taxa de contenção é a proporção resolvida sem nenhum humano.
Juntas, definem o custo operacional real de uma capacidade de IA e o quanto ela é de fato autônoma.
Vêm do vocabulário de centrais de atendimento, adaptadas para assistentes e agentes.
Como usar na prática de produto
Em Produto, essas métricas indicam a maturidade da capacidade. Intervenção alta significa que a IA é assistiva, não autônoma, e o ganho é de velocidade individual, não de vazão.
A tendência importa: a intervenção deve cair com avaliações e ajustes, sem que a qualidade caia junto. Escalonamento por exceção é desejável; escalonamento por incapacidade, não.
Por exemplo, a contenção subiu de 61% para 78% em três meses, e a taxa de reabertura em 7 dias ficou estável em 4%. É um ganho real, e não contenção às custas de resposta ruim.
Quando usar este termo ou outro
Use taxa de intervenção para dimensionar a equipe humana necessária.
Use taxa de contenção como métrica de valor do assistente.
Use taxa de escalonamento para calibrar os limiares de confiança.
Sempre acompanhe junto com a taxa de reabertura, para não confundir contenção com resposta ruim aceita.
Uma forma simples de diferenciar: contenção é o que a IA resolve sozinha; escalonamento é o que ela passa adiante; intervenção é o que exigiu uma pessoa.
Exemplos de aplicação
- Evolução: contenção de 61% para 78% com reabertura estável em 4%.
- Dimensionamento: calcular a equipe humana a partir da taxa de escalonamento.
- Limiar: ajustar a confiança mínima de acordo com a capacidade de revisão.
- Maturidade: acompanhar a queda da intervenção como sinal de evolução da capacidade.
- Alerta: contenção que sobe junto com reabertura indica problema de qualidade.
Como calcular
Fórmulas:
Taxa de intervenção = casos com ação humana ÷ total de casos.
Taxa de escalonamento = casos encaminhados a humano pelo sistema ÷ total.
Taxa de contenção = casos resolvidos sem humano ÷ total (aproximadamente 1 − escalonamento − abandono).
Passo a passo:
1. Registre o desfecho de cada caso: resolvido pela IA, escalado, abandonado, corrigido por humano.
2. Calcule cada taxa sobre o total do período.
3. Acompanhe a tendência mês a mês.
4. Cruze com a taxa de reabertura para validar que a contenção é real.
Exemplo:
10.000 atendimentos: 1.800 escalados, 400 abandonados, 7.800 resolvidos pela IA. Contenção = 78%. Se a reabertura em 7 dias ficou em 4%, a contenção é de qualidade.
Como interpretar:
Contenção subindo com reabertura estável é ganho real. Contenção subindo com reabertura subindo indica que o assistente está “segurando” clientes com respostas ruins, que voltam depois por outro canal.
Origem do termo
Métricas de contact center (containment, deflection) adaptadas a assistentes de IA; taxa de intervenção vem de sistemas supervisionados.
Fonte técnica
AWS Well-Architected Generative AI Lens; NIST AI RMF 1.0 (human oversight)