Viés social e histórico

É o viés que vem dos preconceitos e desigualdades existentes no mundo, que os dados registram fielmente e o modelo reproduz ou amplifica. Mesmo com amostragem e rotulagem perfeitas, dados históricos de contratação, crédito ou policiamento carregam a discriminação do passado. LLMs treinados na internet absorvem os estereótipos de gênero, raça e classe presentes nos textos. É o tipo de viés mais difícil de eliminar, porque os dados estão “certos” sobre um mundo que estava errado.

Em Produto, é preciso reconhecer que “dados reais” não são neutros. Para decisões sobre pessoas, vale avaliar o impacto por grupo e considerar intervir: remover proxies, reponderar, ajustar limiares. Para LLMs, vale testar estereótipos no eval: a mesma pergunta com nomes e gêneros diferentes deve gerar respostas equivalentes. Correções podem vir por prompt, guardrail ou escolha de modelo. Por exemplo, um assistente sugere “engenheiro” para um nome masculino e “enfermeira” para um feminino em recomendações de carreira: é o estereótipo do corpus de treinamento.

Use viés social ou histórico para o viés que vem do mundo, e não do processo. Use viés de amostragem e de rotulagem para vieses introduzidos pelo processo de construção. Todos exigem medição por grupo para serem detectados. Uma forma simples de diferenciar: amostragem e rotulagem são erros que se corrigem no processo; viés social é uma realidade que se decide corrigir ou não.

Suresh & Guttag (2019); estudos de estereótipos em embeddings (Bolukbasi et al., 2016; Caliskan et al., 2017).

Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker? (2016); Suresh & Guttag (2019)