Viés de automação

É a tendência humana de confiar demais na sugestão da máquina e deixar de verificar: aceitar a recomendação mesmo com evidência contrária, ou não notar quando ela erra. O viés de confirmação amplifica o problema: se a IA concorda com o que a pessoa já pensava, ela para de questionar. É o que torna o Human-in-the-Loop uma proteção frágil quando o humano apenas carimba. Foi estudado primeiro em aviação e medicina, onde pilotos e médicos seguiam sistemas automáticos mesmo quando erravam.

Em Produto, a interface deve ser desenhada contra o carimbo: mostrar a confiança e as fontes, exigir justificativa para aprovar casos de baixa confiança, inserir casos de teste com erro conhecido para medir se os revisores percebem, e exibir a taxa de discordância. Se ninguém nunca discorda da IA, a revisão não está funcionando. Por exemplo, revisores aprovam 99,7% das sugestões de um modelo de estimativa, inclusive as que erram em 40%. A revisão virou ritual.

Use viés de automação para o risco do lado humano da supervisão. Use sycophancy para o espelho: a IA que concorda com o humano. Use calibração e desenho de interface como mitigações. Uma forma simples de diferenciar: viés de automação é o humano confiando demais na máquina; sycophancy é a máquina concordando demais com o humano. Juntos, ninguém verifica nada.

Psicologia de fatores humanos em aviação e medicina (Mosier & Skitka, 1996); viés de confirmação vem da psicologia cognitiva (Wason, 1960).

Mosier & Skitka, Human Decision Makers and Automated Decision Aids (1996); Parasuraman & Manzey, Complacency and Bias in Human Use of Automation (2010)