Viés

É o erro sistemático que faz um sistema tratar pessoas ou situações de forma injusta ou inadequada, favorecendo ou prejudicando grupos. Não é acidente estatístico. Vem de escolhas: que dados coletar, como rotular, o que otimizar, como avaliar, como exibir. Entra em cada etapa do pipeline (dados, rótulos, modelo, avaliação, interface) e se propaga. O caso COMPAS, um sistema de avaliação de risco criminal nos EUA, tornou o tema público em 2016.

Em Produto, viés é problema de produto, não apenas de modelo. O time de Produto decide os dados, o critério de sucesso e a interface, e cada uma dessas decisões pode introduzir ou mitigar viés. A pergunta a fazer em cada etapa é: “quem fica de fora ou é prejudicado aqui?”. E a prática essencial é medir o desempenho por grupo antes de lançar: a métrica global esconde o problema. Por exemplo, um modelo de precificação aprende que certos bairros “dão mais sinistro” e cobra mais de quem mora lá, reproduzindo desigualdade.

Use viés para o fenômeno: tratamento sistematicamente injusto. Use fairness para a propriedade desejada: tratamento justo. Use métricas de fairness para medir a distância entre os dois. Uma forma simples de diferenciar: viés é o problema; fairness é o objetivo; as métricas são a régua.

'Bias' em estatística é erro sistemático; viés algorítmico como problema social foi nomeado por Friedman & Nissenbaum (1996) e popularizado após casos como COMPAS (ProPublica, 2016).

Friedman & Nissenbaum, Bias in Computer Systems (1996); Barocas, Hardt & Narayanan, Fairness and Machine Learning (2023)