Latência

Latency

Métrica

Básico

Categoria: Arquitetura de aplicações de IASubcategoria: Execução e desempenho

O que significa

É o tempo entre o pedido e a resposta. Em sistemas de IA, soma a latência de cada capacidade no caminho crítico (as que rodam em paralelo contam apenas a mais lenta), mais o tempo de rede e de pós-processamento. Não se reporta latência pela média, porque a média esconde os casos ruins. Usam-se percentis: p50 (a mediana), p95 e p99. O usuário que cai no p99 é quem reclama, e ele existe em toda base de usuários. Para modelos de linguagem, a latência se decompõe em tempo até o primeiro token e tempo por token gerado.

Como usar na prática de produto

Em Produto, latência é requisito de produto, não detalhe de infraestrutura. Vale definir o máximo aceitável por tipo de interação e medir em produção, não em planilha. Quando o fluxo não cabe no tempo, a resposta raramente é “um modelo mais rápido”. As alavancas mais eficazes são paralelizar o que é independente, usar cache, reduzir o tamanho do contexto ou tornar parte do fluxo assíncrona. Por exemplo, um SLO de p95 abaixo de 4 segundos no chat, medido em produção, revela um p95 real de 6,2 segundos. A solução é paralelizar duas consultas que rodavam em sequência.

Quando usar este termo ou outro

Use latência total para o acordo de experiência com o usuário. Use tempo até o primeiro token (TTFT) para chats com streaming, em que o que importa é quando o texto começa a aparecer. Use throughput quando o assunto é capacidade de processamento, e não tempo de resposta individual. Uma forma simples de diferenciar: latência é quanto uma pessoa espera; throughput é quantas pessoas o sistema atende ao mesmo tempo.

Exemplos de aplicação

Chat: definir p95 abaixo de 4 segundos como meta e medir em produção.
Diagnóstico: identificar qual etapa do fluxo concentra o tempo.
Paralelização: rodar consultas independentes ao mesmo tempo para reduzir o tempo total.
Cache: evitar reprocessar perguntas frequentes.
Assíncrono: mover tarefas longas para fora do caminho crítico da interação.

Como calcular

Fórmula: Latência de uma requisição = momento da resposta − momento do pedido. Passo a passo: 1. Registre o horário de envio e de recebimento de cada requisição. 2. Ordene as latências de todas as requisições do período. 3. Calcule os percentis: p50 é o valor abaixo do qual estão 50% das requisições; p95, 95%; p99, 99%. 4. Para um fluxo com várias etapas: em sequência, some as latências; em paralelo, considere apenas a mais lenta. Exemplo: Um fluxo com cinco etapas sequenciais de 4, 1, 3, 2 e 3 segundos leva 13 segundos. Se as três primeiras rodam em paralelo, o tempo passa a ser 4 (a mais lenta das três) + 2 + 3 = 9 segundos. Como interpretar: Compare o p95 com o limite definido para a experiência. Se o p50 está bom e o p95 está ruim, uma parcela relevante dos usuários tem experiência ruim, mesmo que a média pareça aceitável.

Origem do termo

Métrica clássica de sistemas; em LLMs, decompõe-se em tempo para o primeiro token e tempo por token.

Fonte técnica

Google SRE Book, Monitoring Distributed Systems; AWS Well-Architected Generative AI Lens