Viés de rotulagem

É o erro introduzido quando pessoas ou processos marcam os dados que ensinam o modelo: rotuladores com critérios diferentes, instruções ambíguas, julgamentos subjetivos que carregam preconceitos, ou proxies que medem mal o que importa (usar “foi preso” como proxy de “cometeu crime”). O modelo aprende o viés do rótulo como se fosse verdade. Em RLHF e em avaliação por LLM, o mesmo mecanismo se aplica: a preferência de quem avalia vira o comportamento do modelo.

Em Produto, vale escrever instruções de rotulagem explícitas com exemplos, medir a concordância entre rotuladores e auditar amostras por grupo. A pergunta central é: o rótulo mede o que você quer ou um proxy conveniente? “Reclamação procedente” rotulada por atendentes diferentes, com critérios diferentes, ensina inconsistência ao modelo. Por exemplo, um classificador treinado com rótulos de “procedente” dados por filiais com critérios distintos aprende a inconsistência entre as filiais, não o critério correto.

Use viés de rotulagem para erros na marcação dos dados. Use viés de amostragem para erros na seleção de quem entra nos dados. Use proxy para o caso específico de medir a coisa errada por conveniência. Uma forma simples de diferenciar: rotulagem é o carimbo errado; amostragem é a lista incompleta; proxy é medir a sombra em vez do objeto.

Taxonomia de fontes de viés em ML (Suresh & Guttag, 2019); relacionado ao 'measurement bias' da estatística.

Suresh & Guttag (2019); Obermeyer et al., Dissecting racial bias in an algorithm used to manage the health of populations (2019)