Viés de amostragem

É o viés que surge quando os dados usados para treinar ou avaliar não representam a diversidade das pessoas e situações que o produto vai encontrar: grupos, regiões, dispositivos ou condições sub-representados. O modelo aprende bem o que viu muito e mal o que viu pouco. E, se o conjunto de avaliação vem da mesma amostra, ele não detecta o problema. É o tipo de viés mais fácil de prevenir, porque se revela na composição dos dados antes de qualquer treinamento.

Em Produto, vale comparar a composição do conjunto de dados com a da população que vai usar o produto: idade, região, gênero, canal, tipo de cliente. Onde houver lacuna, coletar mais, reponderar ou, no mínimo, declarar a limitação no model card e monitorar o grupo em produção. Por exemplo, um sistema de reconhecimento de voz treinado com sotaques de uma região tem taxa de erro três vezes maior para usuários de outra região.

Use viés de amostragem quando o problema está em quem está nos dados. Use viés de rotulagem quando o problema está em como os dados foram marcados. Use viés social quando o problema está na realidade histórica que os dados registram. Use viés de interação quando o problema surge do próprio uso do produto. Uma forma simples de diferenciar: amostragem é quem entrou; rotulagem é como foi marcado; social é o que o mundo carrega; interação é o que o uso gera.

Estatística amostral (anos 1930); aplicado a ML em taxonomias como Suresh & Guttag (2019).

Suresh & Guttag, A Framework for Understanding Sources of Harm throughout the ML Life Cycle (2019)