Equalized odds e equal opportunity

Equalized Odds / Equal Opportunity

Métrica de fairness

Avançado

Categoria: IA responsável, ética e governançaSubcategoria: Fairness

O que significa

Equalized odds é a definição de fairness em que o modelo tem a mesma taxa de verdadeiros positivos e a mesma taxa de falsos positivos em todos os grupos: erra igual para todos. Equal opportunity é uma versão mais simples, que exige igualdade apenas na taxa de verdadeiros positivos: quem merece o resultado positivo tem a mesma chance de recebê-lo, em qualquer grupo. Ambas exigem uma verdade de referência confiável, ou seja, saber o que de fato aconteceu.

Como usar na prática de produto

Em Produto, essas definições são preferíveis quando há um resultado real verificável (pagou ou não, houve fraude ou não) e o dano vem de errar mais para um grupo. Equal opportunity é a mais usada em produto: garante que os qualificados não sejam preteridos por pertencer a um grupo. Por exemplo, um detector de defeitos acerta 91% dos danos reais em produtos claros e 74% em escuros. Equal opportunity violada; a solução é retreinar com mais fotos de produtos escuros.

Quando usar este termo ou outro

Use equal opportunity quando o dano é negar a quem merece. Use equalized odds quando o falso alarme também dói e precisa ser igual entre grupos. Use paridade demográfica quando o rótulo histórico é suspeito e não serve como verdade de referência. Uma forma simples de diferenciar: equal opportunity é “os merecedores têm a mesma chance”; equalized odds é “todos os tipos de erro são iguais entre grupos”.

Exemplos de aplicação

Detecção de defeitos: 91% de acerto em produtos claros e 74% em escuros.
Fraude: recall diferente entre grupos de clientes.
Retreino: adicionar dados do grupo com desempenho pior.
Matriz por grupo: montar a matriz de confusão separadamente para cada grupo.
Limiar: definir a diferença máxima aceitável nas taxas.

Como calcular

Fórmulas: Para cada grupo: taxa de verdadeiros positivos (TPR) = verdadeiros positivos ÷ (verdadeiros positivos + falsos negativos); taxa de falsos positivos (FPR) = falsos positivos ÷ (falsos positivos + verdadeiros negativos). Equal opportunity: a diferença de TPR entre grupos deve ficar abaixo do limiar. Equalized odds: além disso, a diferença de FPR entre grupos também deve ficar abaixo do limiar. Passo a passo: 1. Monte a matriz de confusão separadamente para cada grupo. 2. Calcule TPR e FPR de cada grupo. 3. Compare as taxas entre grupos e verifique se as diferenças ficam dentro do limiar. Exemplo: Recall de fraude de 0,82 no grupo A e 0,64 no grupo B. Diferença de 0,18 na TPR: o modelo protege menos o grupo B. Equal opportunity violada. Como interpretar: Diferença na TPR indica que um grupo recebe menos resultados positivos merecidos. Diferença na FPR indica que um grupo sofre mais falsos alarmes. Cada uma aponta para um tipo de dano diferente.

Origem do termo

Hardt, Price & Srebro, Equality of Opportunity in Supervised Learning (2016).

Fonte técnica

Hardt, Price & Srebro (2016); Google Machine Learning Glossary, Fairness