Camada de orquestração

É a camada que fica entre a aplicação e os modelos e coordena o fluxo: monta o contexto, chama as capacidades na ordem certa, executa ferramentas, aplica guardrails, consolida resultados e decide quando acionar fallback ou escalar para uma pessoa. É onde vivem os workflows e os agentes. Separá-la da camada de modelo permite trocar de modelo sem reescrever o fluxo, e trocar o fluxo sem mexer no modelo. Frameworks de mercado implementam essa camada, mas ela também pode ser construída com código próprio.

Em Produto, essa é a camada que o time mais influencia. As regras de precedência entre capacidades, os limiares de confiança, os pontos de aprovação humana e os caminhos de exceção são decisões de produto, e todas moram aqui. Vale exigir que essas regras estejam em configuração legível, e não enterradas no código. Um PM precisa conseguir ler “confiança abaixo de 0,7 rebaixa para sugestão” e “contrato prevalece sobre estimativa” sem abrir o código-fonte. Por exemplo, o orquestrador de um fluxo de análise de ocorrências aplica: confiança baixa vira sugestão; informação de contrato prevalece sobre estimativa do modelo; exceções vão para a fila “ocorrências em disputa”.

Use camada de orquestração quando há múltiplas capacidades a coordenar, com regras entre elas. Use chamada direta ao modelo apenas quando há uma única capacidade e nenhuma regra em volta, o que é raro em produção. Use orquestrador para o componente específico; camada de orquestração para o conjunto de componentes que cumprem esse papel. Uma forma simples de diferenciar: a camada de modelo responde; a camada de orquestração decide quem responde, em que ordem e o que fazer com a resposta.

Padrão de arquitetura de aplicações de IA (Azure, AWS, 2023+); frameworks como LangGraph e Semantic Kernel implementam essa camada.

Microsoft Azure Architecture Center, AI agent orchestration patterns; AWS Well-Architected Generative AI Lens