Prompt caching

É a técnica de reaproveitar o processamento de uma parte fixa do prompt entre várias chamadas, pagando uma fração do preço pelos tokens que estão em cache e reduzindo a latência. Funciona por prefixo: a parte estável do prompt (instrução de sistema longa, documentos de referência, exemplos) fica no início e é processada uma vez; a parte variável (a pergunta do usuário) fica no fim e é processada a cada chamada. Os principais fornecedores oferecem descontos de 50% a 90% nos tokens em cache, o que torna a técnica uma das otimizações de custo mais eficazes disponíveis.

Em Produto, prompt caching é provavelmente a otimização de custo mais fácil de implementar. Se a instrução de sistema tem 3 mil tokens e o produto faz 100 mil chamadas por dia, o cache pode reduzir o custo de entrada em mais da metade. A única exigência é estruturar o prompt com a parte fixa antes da parte variável. Isso costuma ser uma mudança simples de organização. Por exemplo, um manual de 40 páginas pode ficar em cache como prefixo; cada pergunta de um atendente custa apenas os tokens da pergunta e da resposta, e não do manual inteiro.

Use prompt caching quando o prompt tem um prefixo longo e estável que se repete entre chamadas. Use cache semântico quando as perguntas se repetem e a resposta inteira pode ser reaproveitada. Use compressão de contexto quando o problema é o tamanho do contexto, e não a repetição. Uma forma simples de diferenciar: prompt caching reaproveita a entrada; cache semântico reaproveita a resposta.

Anthropic (agosto de 2024), OpenAI e Google (2024) lançaram cache de prefixos de prompt com desconto de 50 a 90% nos tokens em cache.

Anthropic docs, Prompt caching; OpenAI Platform docs, Prompt caching