Viés de interação

É o viés que surge do próprio uso: o sistema aprende com interações que ele mesmo influenciou. A recomendação mostra mais de X, os usuários clicam em X, o modelo conclui que X é melhor. Um modelo de risco manda fiscalizar o bairro Y, encontra mais problemas em Y, e confirma que Y é arriscado. O produto cria a evidência que o justifica. Chama-se também de ciclo de retroalimentação (feedback loop). É o viés que aparece depois do lançamento, e por isso exige monitoramento contínuo.

Em Produto, sempre que o modelo aprende com dados que ele ajudou a gerar, existe risco de ciclo. As mitigações são: exploração (mostrar alternativas de propósito), dados de controle (um grupo sem o modelo) e auditoria periódica da distribuição dos resultados. O feedback dos usuários (avaliações positivas e negativas) também tem viés: quem responde não é representativo de quem usa. Por exemplo, um ranking de produtos mostra mais itens de uma categoria, gera mais cliques nela, e o modelo passa a ignorar quem procurava outra coisa.

Use viés de interação para os vieses que o próprio produto gera com o tempo. Use drift para mudanças no mundo que o modelo não acompanhou. Ambos exigem monitoramento contínuo em produção. Uma forma simples de diferenciar: viés de interação é o produto se alimentando de si mesmo; drift é o mundo mudando ao redor do produto.

Estudos sobre feedback loops em sistemas de recomendação e policiamento preditivo (Ensign et al., 2018).

Ensign et al., Runaway Feedback Loops in Predictive Policing (2018); Chaney et al., How Algorithmic Confounding in Recommendation Systems Increases Homogeneity (2018)