Fila de revisão humana

É o mecanismo operacional que recebe os casos que o sistema de IA não deve resolver sozinho (baixa confiança, alto valor, regra de negócio, pedido do usuário) e os entrega a pessoas com contexto suficiente para decidir rápido: a resposta sugerida, as fontes, a confiança, o motivo do encaminhamento e as ações disponíveis. Inclui priorização, prazo de resposta e devolução do resultado como aprendizado para o sistema. É a interface operacional do Human-in-the-Loop.

Em Produto, a fila é produto: precisa de interface, priorização, capacidade dimensionada (taxa de escalonamento vezes volume) e métricas (tempo de espera, taxa de reversão da sugestão). Sem desenho, vira gargalo e as pessoas carimbam. Com desenho, é a fonte mais rica de casos de eval e de melhoria. Por exemplo, 12% das estimativas de reparo vão para a fila; o revisor vê a foto, a sugestão, a confiança e o histórico da peça; a reversão em 18% dos casos alimenta o retreino.

Use fila de revisão para decisões que exigem humano antes de valer. Use auditoria amostral para supervisão depois do fato. Ambas precisam de capacidade dimensionada e de interface adequada. Uma forma simples de diferenciar: a fila é onde a pessoa decide; a auditoria é onde a pessoa confere.

Operações de moderação de conteúdo e BPO; formalizado no desenho de sistemas human-in-the-loop.

Google People + AI Guidebook; Amershi et al., Guidelines for Human-AI Interaction (2019)