Human-in-the-loop

Human-in-the-Loop (HITL) é o padrão em que uma pessoa participa da decisão antes de ela valer: aprova, corrige ou rejeita a saída do sistema. Existem variantes: por exceção (só os casos abaixo de um limiar de confiança), por amostragem (uma fatia aleatória sempre revisada, que alimenta a avaliação) e antes do irreversível (cobrança, bloqueio, comunicação pública). Human-on-the-Loop (HOTL) é a variante em que a pessoa monitora o sistema e pode intervir, mas não aprova cada caso individualmente. O sistema age; a pessoa supervisiona. Ambos são mecanismos de supervisão humana; a diferença está no momento em que a pessoa entra.

Em Produto, revisar tudo não é governança, é gargalo com aparência de cuidado. Quando o volume cresce, a revisão some, e ninguém percebe. O desenho eficaz coloca a pessoa por exceção, por amostragem e antes do irreversível. Igualmente importante é dar à pessoa contexto para discordar em segundos: o porquê da recomendação, os fatores que a sustentam, as evidências. Uma saída pronta pedindo “aprovar?” vira carimbo automático. Por exemplo, em análise de fraude, os casos de zona cinzenta vão para um analista com os fatores que puxaram o score, e 2% dos casos liberados automaticamente também são revisados, para medir se o sistema está acertando.

Use HITL para decisões irreversíveis ou de alto impacto, em que o custo de um erro justifica a espera. Use HOTL para volume alto, com monitoramento, alertas e capacidade de parar o sistema. Use amostragem sempre, como fonte de avaliação contínua, independentemente do modelo escolhido. Uma forma simples de diferenciar: HITL aprova antes; HOTL vigia durante; amostragem mede depois.

Engenharia de sistemas de controle e fatores humanos (anos 1950-60); em IA, popularizado por plataformas de rotulagem e pelo debate de supervisão (anos 2010).

NIST AI RMF 1.0; Anthropic, Building Effective Agents; Wikipedia/SAE, Human-in-the-loop