Tempo para o primeiro token
Time to First Token (TTFT) / Time per Output Token
Métrica
IntermediárioCategoria: Arquitetura de aplicações de IASubcategoria: Execução e desempenho
O que significa
O tempo para o primeiro token (TTFT) é quanto o modelo demora para começar a responder. Inclui o tempo de rede, de fila e de processamento do prompt inteiro, e por isso cresce com o tamanho do contexto.
O tempo por token de saída (TPOT) é o intervalo médio entre cada token gerado, que define a velocidade de “digitação” que o usuário vê no streaming.
A latência total de uma resposta é, aproximadamente, o TTFT mais o TPOT multiplicado pelo número de tokens gerados.
Como usar na prática de produto
Em Produto, em interfaces de chat com streaming, o TTFT é a métrica de experiência que mais importa. Abaixo de 1 segundo, a pessoa sente que o sistema respondeu, mesmo que a resposta completa leve vários segundos.
Contextos grandes pioram o TTFT, porque o modelo precisa processar tudo antes de começar. Prompt caching melhora, porque o prefixo já foi processado. O TPOT importa mais em respostas longas.
Por exemplo, reduzir o system prompt de 4 mil para 1,5 mil tokens e ativar o cache pode levar o TTFT de 2,1 segundos para 0,6 segundo.
Quando usar este termo ou outro
Use TTFT e TPOT para interfaces com streaming, em que a percepção de velocidade depende do início e do ritmo da resposta.
Use latência total para respostas estruturadas e etapas de pipeline, em que só o resultado completo interessa.
Uma forma simples de diferenciar: TTFT é quando o texto começa a aparecer; TPOT é a velocidade com que ele aparece; latência total é quando termina.
Exemplos de aplicação
- Chat: meta de TTFT abaixo de 1 segundo para sensação de resposta imediata.
- Otimização: reduzir o system prompt e ativar cache para melhorar o TTFT.
- Diagnóstico: separar problemas de início de resposta de problemas de velocidade de geração.
- Respostas longas: acompanhar o TPOT em resumos e relatórios extensos.
- Fornecedores: comparar TTFT e TPOT entre modelos com o mesmo prompt.
Como calcular
Fórmula:
TTFT = momento em que o primeiro token chega − momento do pedido.
TPOT = (momento do último token − momento do primeiro token) ÷ (número de tokens de saída − 1).
Latência total ≈ TTFT + TPOT × tokens de saída.
Passo a passo:
1. Registre o horário do pedido, do primeiro token recebido e do último.
2. Conte os tokens da resposta.
3. Aplique as fórmulas acima e reporte por percentil, como na latência.
Exemplo:
TTFT de 0,8 segundo, TPOT de 0,03 segundo e 300 tokens de resposta: latência total ≈ 0,8 + 0,03 × 300 = 9,8 segundos. Mas o usuário vê o texto começar a aparecer em 0,8 segundo.
Como interpretar:
TTFT alto indica prompt grande, fila no fornecedor ou rede lenta. TPOT alto indica modelo pesado ou fornecedor sobrecarregado. Otimize o que estiver ruim.
Origem do termo
Métricas de serving de LLMs consolidadas por benchmarks de inferência (vLLM, 2023) e guias dos provedores.
Fonte técnica
vLLM documentation, Metrics; AWS Well-Architected Generative AI Lens