Streaming de resposta

É o padrão de entregar a resposta ao usuário à medida que o modelo a gera, token a token, em vez de esperar a resposta completa para exibi-la. É o efeito de “texto aparecendo” que se vê nos assistentes conversacionais. O streaming não reduz o tempo total de geração, mas reduz drasticamente a latência percebida: a pessoa vê que algo está acontecendo em menos de um segundo, em vez de olhar para uma tela vazia por vários segundos. As APIs dos fornecedores oferecem o streaming como opção, e a maior parte das interfaces de chat o utiliza.

Em Produto, para interfaces de chat, streaming é praticamente obrigatório. Sem ele, oito segundos de espera parecem uma falha; com ele, a mesma resposta parece rápida e viva. Para saídas estruturadas consumidas por sistemas, o streaming não faz sentido, porque o sistema precisa da resposta completa para processá-la. A métrica de experiência associada é o tempo até o primeiro token (TTFT): quanto tempo a pessoa espera até ver o início da resposta. É esse número, mais do que o tempo total, que define a sensação de velocidade.

Use streaming para texto que será lido por pessoas em tempo real. Use resposta completa para saídas estruturadas, chamadas de ferramentas e etapas intermediárias de um pipeline. Use indicadores de progresso, além do streaming, quando o sistema executa etapas antes de começar a responder. Uma forma simples de diferenciar: streaming melhora a percepção de velocidade; não melhora a velocidade em si.

Padrão de UX consagrado pelo ChatGPT (2022); as APIs expõem tokens à medida que são gerados.

OpenAI Platform docs, Streaming; Anthropic docs, Streaming Messages