GPU e infraestrutura de inferência

GPUs são processadores especializados em cálculos paralelos, usados para treinar e executar modelos neurais. A memória da GPU limita o tamanho do modelo que cabe nela; a quantidade e o tipo de GPUs definem a capacidade de processamento e o custo. Ao consumir modelos por API, o fornecedor cuida de toda essa infraestrutura. Ao operar modelo próprio, a GPU vira a principal linha de custo e de risco operacional, incluindo disponibilidade e tempo de inicialização. TPUs são aceleradores dedicados do Google com o mesmo propósito.

Em Produto, a decisão “API ou modelo próprio” é, em grande parte, a decisão “queremos operar GPUs?”. Modelo próprio faz sentido com volume alto e estável, dados sensíveis ou custo de API que não fecha. Abaixo disso, a API costuma ser mais barata quando se conta o time necessário para operar. O exercício é comparar o custo total: o custo da API para o volume projetado contra o custo de GPUs mais o time de operação. Fora dessa decisão, o time de Produto não precisa entrar em detalhes de hardware.

Use este termo na conversa de construir versus comprar infraestrutura de IA. Use API de fornecedor quando o volume não justifica operar infraestrutura própria. Use modelo próprio em GPU quando há volume alto, dados sensíveis ou restrição de custo em escala. Uma forma simples de diferenciar: API é alugar; GPU própria é comprar e manter.

GPUs (NVIDIA, 1999) foram adotadas para deep learning a partir de 2009-2012; TPUs (Google, 2016) são aceleradores dedicados.

AWS Well-Architected Generative AI Lens; NVIDIA, Deep learning inference documentation