Throughput

Métrica

Intermediário

Categoria: Arquitetura de aplicações de IASubcategoria: Execução e desempenho

O que significa

É a quantidade de trabalho que um sistema processa por unidade de tempo: requisições por segundo, tokens por segundo, documentos por hora. Define a capacidade do sistema sob carga. Fornecedores de modelos impõem limites de taxa (rate limits), como um número máximo de requisições ou tokens por minuto. Throughput provisionado é capacidade reservada com custo fixo, em oposição ao pagamento por uso. Throughput e latência se tensionam: aumentar a capacidade de processamento em lote costuma piorar o tempo de resposta individual.

Como usar na prática de produto

Em Produto, vale estimar o pico de uso antes de lançar, e não apenas a média. Duzentos mil chamados por mês são poucos por segundo na média e muitos na segunda-feira às 9 horas. Também é preciso verificar os limites do fornecedor e negociar ou provisionar capacidade antes de bater neles em produção. Descobrir o limite pelo erro do usuário é uma experiência ruim. Por exemplo, uma média de 2 requisições por segundo com pico de 9, contra um limite de 10 do fornecedor, indica que uma fila na frente é necessária para absorver picos maiores.

Quando usar este termo ou outro

Use throughput para dimensionar capacidade, infraestrutura e custo. Use latência para a experiência de cada usuário. Use rate limit para o limite imposto pelo fornecedor, que o throughput do seu produto não pode ultrapassar. Uma forma simples de diferenciar: throughput é a vazão do sistema; latência é a espera de cada pessoa; rate limit é o teto do fornecedor.

Exemplos de aplicação

Dimensionamento: estimar o pico de uso antes do lançamento.
Fornecedor: verificar rate limits e negociar aumento com antecedência.
Fila: absorver picos que ultrapassam a capacidade de processamento.
Lote: processar volumes grandes fora do horário de pico.
Monitoramento: alertar quando o uso se aproxima do limite.

Como calcular

Fórmula: Throughput = unidades processadas ÷ intervalo de tempo. Passo a passo: 1. Conte as requisições (ou tokens, ou documentos) processadas em um período. 2. Divida pelo tempo do período, na unidade desejada (segundo, minuto, hora). 3. Calcule separadamente a média e o pico, porque é o pico que precisa caber nos limites. 4. Estime o pico como média × fator de concentração; em muitos produtos, esse fator fica entre 3 e 5. Exemplo: 36 mil requisições em 1 hora equivalem a 10 requisições por segundo na média. Se o fator de concentração é 4, o pico chega a 40 por segundo, e é esse número que deve ser comparado ao limite do fornecedor. Como interpretar: Se o pico ultrapassa o limite, é preciso uma fila para absorver, capacidade provisionada ou negociação com o fornecedor.

Origem do termo

Métrica de sistemas e redes; em LLMs, medida em requisições por segundo ou tokens por segundo.

Fonte técnica

AWS Well-Architected Generative AI Lens; OpenAI Platform docs, Rate limits