Orchestration

A orquestração é a lógica de roteamento e controle em volta dos modelos: novas tentativas, planos de contingência, escalonamento começando pelo modelo mais barato, etapas em paralelo, estado. Em produção, é essa camada, e não o modelo, que costuma determinar se o sistema é confiável e sustentável no custo.

Na prática: Encaminhar tickets fáceis para um modelo pequeno e escalar os ambíguos para um modelo de raciocínio.