Critério de aceitação e limiar

Critério de aceitação é a condição mensurável que a capacidade precisa atender para entrar e continuar em produção: “95% de fidelidade no conjunto de avaliação”, “p95 abaixo de 3 segundos”. Limiar é o valor de corte sobre a pontuação do modelo que separa uma decisão da outra: “bloqueia acima de 0,8; envia para revisão entre 0,5 e 0,8; libera abaixo de 0,5”. Mover o limiar troca um tipo de erro por outro: mais rigor gera mais falsos alarmes; menos rigor deixa passar mais casos.

Em Produto, o limiar é uma decisão de produto, não de ciência de dados. Ele define quantos casos vão para revisão humana, quanto custa a operação e qual tipo de erro chega ao cliente. O ponto de partida é o custo do falso positivo e do falso negativo no seu fluxo. O limiar é consequência dessa conta. Quem responde “quantos clientes legítimos aceito incomodar para evitar uma fraude?” é Produto. Por exemplo, o limiar de fraude em 0,7 gera 4% de revisão manual e 0,3% de falsos positivos; em 0,6, gera 9% e 0,1%. A escolha depende da capacidade da equipe e do custo de cada erro.

Use critério de aceitação no contrato de capacidade, como condição para lançar e continuar. Use limiar na configuração da orquestração, revisado periodicamente com dados de produção. Uma forma simples de diferenciar: critério de aceitação diz se a capacidade está boa o bastante; limiar diz o que fazer com cada caso.

Critério de aceitação vem de engenharia de requisitos e métodos ágeis; limiar (threshold) da teoria de decisão estatística.

Google Machine Learning Crash Course, Classification: thresholds; NIST AI RMF 1.0