Camada de modelo e gateway

É a camada que abstrai o acesso aos modelos de IA. Um gateway único recebe todas as chamadas da aplicação e as encaminha ao fornecedor certo, aplica limites de custo e de taxa, registra o uso, faz cache e aciona fallback entre modelos quando um falha. A aplicação chama “o modelo de classificação”; o gateway decide se isso vai para o fornecedor A, para o fornecedor B ou para o modelo interno. É o equivalente, para modelos de IA, do que o API gateway é para serviços: um ponto único de controle e de política.

Em Produto, o gateway é a principal defesa contra dependência de fornecedor e contra surpresas de custo. Com gateway, trocar de fornecedor é uma mudança de configuração; sem ele, é um projeto. Também é onde se centralizam as políticas: quais modelos são permitidos, com quais dados, a que custo máximo por time ou por produto. Isso dá visibilidade e controle que chamadas diretas não oferecem. Por exemplo, o gateway roteia classificações para um modelo pequeno interno, redação para o fornecedor A, e cai para o fornecedor B quando A falha, com o custo por time visível em um painel.

Use gateway assim que houver mais de uma capacidade de IA ou mais de um fornecedor de modelo. Use chamada direta ao fornecedor apenas em protótipos. Use cascata ou roteamento de modelos como funcionalidade do gateway, para escolher o modelo por tipo de pedido. Uma forma simples de diferenciar: sem gateway, cada capacidade fala com um fornecedor; com gateway, todas falam com um ponto único que decide.

Padrão API gateway (anos 2010) aplicado a modelos; produtos como LiteLLM, Portkey e os gateways nativos de nuvem (2023+).

AWS Well-Architected Generative AI Lens; Microsoft Azure, AI gateway capabilities in API Management