Latência percebida

É o tempo que o usuário sente esperar, que é diferente do tempo técnico. Uma resposta que começa a aparecer em 0,5 segundo e termina em 8 parece mais rápida do que uma que aparece inteira em 4. As técnicas para melhorar a percepção incluem streaming, indicador de progresso com etapas (“buscando no contrato...”), resposta parcial imediata e processamento assíncrono com notificação. A pesquisa de Jakob Nielsen dos anos 1990 estabeleceu limites que continuam válidos: 0,1 segundo parece instantâneo; 1 segundo mantém o fluxo; 10 segundos é o limite da atenção.

Em Produto, o orçamento de latência deve ser definido pela expectativa do fluxo, não pela capacidade do modelo. Chat tolera 1 a 2 segundos até o primeiro token; busca, menos de 1 segundo; tarefas de agente podem levar minutos se a interface mostrar progresso e permitir sair. Vale medir o tempo até o primeiro token e o p95, não a média. Por exemplo, um agente de análise leva 40 segundos; com etapas visíveis e opção de receber o resultado por notificação, a satisfação sobe sem mudar a arquitetura.

Use otimização de latência técnica (modelo menor, cache, paralelismo) quando o orçamento é apertado. Use otimização de percepção (streaming, progresso, assíncrono) quando o trabalho é inerentemente longo. Uma forma simples de diferenciar: latência técnica é o cronômetro; latência percebida é a sensação. Ambas podem ser trabalhadas.

Pesquisa de interação humano-computador (Nielsen, 1993: limites de 0,1 s, 1 s e 10 s); streaming de LLMs (2022+) reintroduziu o tema.

Nielsen, Response Times: The 3 Important Limits (1993); Google People + AI Guidebook