Cache

É o armazenamento de resultados já calculados para não precisar recalculá-los. O cache exato devolve a resposta guardada quando a entrada é idêntica a uma anterior. O cache semântico devolve quando a entrada é suficientemente parecida com uma já respondida, medida por embeddings, o que é útil para perguntas repetidas com palavras diferentes. O prompt caching, oferecido pelos fornecedores, é diferente: reaproveita o processamento do prefixo do prompt, e não a resposta. Em assistentes, as perguntas frequentes costumam ser a maior parte do volume, o que torna o cache uma alavanca importante de custo e latência.

Em Produto, o cache semântico pode cortar custo e latência drasticamente, mas cria um risco: responder com a resposta guardada a uma pergunta que só parecia igual. “Qual o horário de devolução?” e “qual o horário de retirada?” são parecidas e têm respostas diferentes. Por isso, vale definir um limiar de similaridade alto, um tempo de expiração e exclusões claras: nada que dependa do usuário ou de dados que mudam vai para o cache. Por exemplo, “qual o horário de devolução?” e “até que horas posso devolver?” podem receber a mesma resposta em cache, com validade de 24 horas.

Use cache exato para chamadas determinísticas com entradas repetidas. Use cache semântico para FAQs de alto volume e baixo risco. Use prompt caching para prefixos longos que se repetem entre chamadas. Nunca use cache para respostas que dependem do usuário, do contexto ou de dados que mudam. Uma forma simples de diferenciar: cache exato reconhece a mesma pergunta; cache semântico reconhece a mesma intenção; prompt caching reaproveita a mesma instrução.

Cache é conceito fundamental de computação; cache semântico (por similaridade de embeddings) surgiu com GPTCache (2023) e gateways de LLM.

GPTCache documentation; AWS Well-Architected Generative AI Lens, Cost optimization