Dicionário de Inteligência Artificial PM3

AI Architecture

É a disciplina de organizar uma solução de IA em camadas e componentes com responsabilidades e contratos claros: a interface com o usuário, a orquestração do fluxo, os modelos, os dados, as integrações com outros sistemas, a segurança e a observabilidade. Difere da arquitetura de software tradicional porque inclui componentes que erram por natureza, custam por uso e mudam de comportamento com o tempo. Por isso, avaliação, fallback e monitoramento fazem parte da arquitetura desde o início, e não são etapas adicionadas depois. Uma boa arquitetura de IA permite trocar um modelo, uma base de conhecimento ou uma ferramenta sem redesenhar a solução inteira.

Cache / Semantic Cache

É o armazenamento de resultados já calculados para não precisar recalculá-los. O cache exato devolve a resposta guardada quando a entrada é idêntica a uma anterior. O cache semântico devolve quando a entrada é suficientemente parecida com uma já respondida, medida por embeddings, o que é útil para perguntas repetidas com palavras diferentes. O prompt caching, oferecido pelos fornecedores, é diferente: reaproveita o processamento do prefixo do prompt, e não a resposta. Em assistentes, as perguntas frequentes costumam ser a maior parte do volume, o que torna o cache uma alavanca importante de custo e latência.

Model Layer / Model Gateway

É a camada que abstrai o acesso aos modelos de IA. Um gateway único recebe todas as chamadas da aplicação e as encaminha ao fornecedor certo, aplica limites de custo e de taxa, registra o uso, faz cache e aciona fallback entre modelos quando um falha. A aplicação chama “o modelo de classificação”; o gateway decide se isso vai para o fornecedor A, para o fornecedor B ou para o modelo interno. É o equivalente, para modelos de IA, do que o API gateway é para serviços: um ponto único de controle e de política.

Orchestration Layer

É a camada que fica entre a aplicação e os modelos e coordena o fluxo: monta o contexto, chama as capacidades na ordem certa, executa ferramentas, aplica guardrails, consolida resultados e decide quando acionar fallback ou escalar para uma pessoa. É onde vivem os workflows e os agentes. Separá-la da camada de modelo permite trocar de modelo sem reescrever o fluxo, e trocar o fluxo sem mexer no modelo. Frameworks de mercado implementam essa camada, mas ela também pode ser construída com código próprio.

Model Cascade / Model Routing

É o padrão de usar primeiro um modelo pequeno e barato e escalar para um modelo maior apenas quando necessário: quando a confiança é baixa, quando a tarefa é detectada como complexa ou quando a validação da resposta falha. O roteamento é uma variante em que um classificador decide de antemão qual modelo deve atender cada tipo de pedido, sem passar pelo modelo pequeno primeiro. O objetivo é reduzir o custo médio mantendo a qualidade nos casos difíceis, que são a minoria.

Synchronous / Asynchronous Execution

Na execução síncrona, quem faz o pedido espera a resposta antes de continuar. A latência é visível ao usuário: ele fica esperando. Na execução assíncrona, o pedido é registrado e processado depois; o resultado chega por notificação, webhook ou consulta posterior. O processamento em lote é a forma assíncrona de tratar grandes volumes de uma vez, geralmente com desconto dos fornecedores e sem pressão de latência. A escolha entre os dois modos é uma decisão de experiência tanto quanto de arquitetura.

Frontend / Backend

Frontend é a camada que a pessoa vê e opera: as telas, os formulários, a validação de entrada, a exibição de resultados e de incerteza, e tudo o que o usuário percebe como rapidez ou lentidão. Backend é a camada onde a regra de negócio de fato acontece, onde os dados são gravados e de onde as capacidades de IA são chamadas. É o que garante que a mesma regra vale para o app, para o balcão e para o parceiro. Em produtos com IA, o modelo é chamado pelo backend; o frontend mostra a saída e comunica ao usuário o nível de confiança e as opções disponíveis.

GPU / Inference Infrastructure

GPUs são processadores especializados em cálculos paralelos, usados para treinar e executar modelos neurais. A memória da GPU limita o tamanho do modelo que cabe nela; a quantidade e o tipo de GPUs definem a capacidade de processamento e o custo. Ao consumir modelos por API, o fornecedor cuida de toda essa infraestrutura. Ao operar modelo próprio, a GPU vira a principal linha de custo e de risco operacional, incluindo disponibilidade e tempo de inicialização. TPUs são aceleradores dedicados do Google com o mesmo propósito.

Latency

É o tempo entre o pedido e a resposta. Em sistemas de IA, soma a latência de cada capacidade no caminho crítico (as que rodam em paralelo contam apenas a mais lenta), mais o tempo de rede e de pós-processamento. Não se reporta latência pela média, porque a média esconde os casos ruins. Usam-se percentis: p50 (a mediana), p95 e p99. O usuário que cai no p99 é quem reclama, e ele existe em toda base de usuários. Para modelos de linguagem, a latência se decompõe em tempo até o primeiro token e tempo por token gerado.

Deployment Model (Cloud / On-premises / Hybrid)

É a decisão sobre onde o sistema e os modelos rodam. Na nuvem pública, a infraestrutura é do provedor e o pagamento é por uso. On-premises, tudo roda em data center próprio, com controle total e custo fixo. Nuvem privada ou híbrida combinam as duas abordagens, com parte em cada. Em IA, a decisão envolve onde os dados podem ir, qual latência é aceitável, se há GPUs disponíveis e qual é o custo em escala. Muitas empresas reguladas adotam modelos híbridos: dados sensíveis ficam dentro; o restante usa serviços externos.

Time to First Token (TTFT) / Time per Output Token

O tempo para o primeiro token (TTFT) é quanto o modelo demora para começar a responder. Inclui o tempo de rede, de fila e de processamento do prompt inteiro, e por isso cresce com o tamanho do contexto. O tempo por token de saída (TPOT) é o intervalo médio entre cada token gerado, que define a velocidade de “digitação” que o usuário vê no streaming. A latência total de uma resposta é, aproximadamente, o TTFT mais o TPOT multiplicado pelo número de tokens gerados.

Throughput

É a quantidade de trabalho que um sistema processa por unidade de tempo: requisições por segundo, tokens por segundo, documentos por hora. Define a capacidade do sistema sob carga. Fornecedores de modelos impõem limites de taxa (rate limits), como um número máximo de requisições ou tokens por minuto. Throughput provisionado é capacidade reservada com custo fixo, em oposição ao pagamento por uso. Throughput e latência se tensionam: aumentar a capacidade de processamento em lote costuma piorar o tempo de resposta individual.