Inferência

É o uso de um modelo já treinado para gerar previsões, classificações ou textos a partir de novas entradas. Se o treinamento é o momento em que o modelo aprende, a inferência é o momento em que ele trabalha. É na inferência que acontece o custo recorrente de um produto com IA: cada chamada ao modelo consome computação e, no caso de fornecedores de LLM, é cobrada por token. A inferência pode ser em tempo real (síncrona), quando o usuário espera a resposta, ou em lote (assíncrona), quando grandes volumes são processados sem urgência, muitas vezes com desconto.

Em Produto, custo de inferência é custo de produto, e ele cresce com o uso. Isso é diferente do custo de treinamento, que é fixo. Um produto que funciona bem no piloto pode ficar inviável em escala se o custo por transação não foi estimado. O exercício é estimar o custo por transação, não por mês, e comparar com o valor que a transação gera. Uma capacidade que custa alguns centavos por decisão pode ser irrelevante em uma venda de alto valor e inviável se rodar a cada consulta gratuita. Também vale identificar o que pode rodar em lote. Fornecedores oferecem descontos significativos para processamento assíncrono, e muitas tarefas, como classificar históricos ou gerar resumos, não precisam de resposta imediata.

Use inferência para o momento em que o modelo é usado para produzir resultados, em oposição ao treinamento. Use inferência em tempo real quando o usuário está esperando a resposta. Use inferência em lote quando o volume é grande e o resultado pode esperar horas. Uma forma simples de diferenciar: treinamento é quando o modelo aprende; inferência é quando ele trabalha.

Estatística (inferir a partir de um modelo); em ML, designa o uso do modelo treinado para produzir saídas.

AWS Well-Architected Generative AI Lens; OpenAI Platform docs, Batch API