Rótulo e verdade de referência

Rótulo é a resposta esperada associada a um exemplo: esta transação é fraude, esta foto contém um defeito, este chamado é sobre cobrança. É o que o modelo tenta aprender a prever no aprendizado supervisionado. Verdade de referência (ground truth) é o rótulo tomado como “verdade” para treinar e, principalmente, para avaliar o modelo. O termo vem do sensoriamento remoto, em que imagens de satélite eram conferidas com o que existia de fato no solo. Rótulos carregam julgamento humano, critérios do momento e decisões passadas. Por isso são uma das principais fontes de viés: se o rótulo estiver errado ou enviesado, o modelo aprende o erro como se fosse verdade.

Em Produto, a qualidade do rótulo define o teto de qualidade do modelo. Nenhum modelo supera os dados com que foi ensinado. Antes de treinar, vale perguntar: quem rotulou, com que critério, com que consistência entre pessoas diferentes e há quanto tempo. Um exemplo comum: descobrir que “fraude confirmada” no histórico significava, na prática, “bloqueado pelo analista”. Um modelo treinado com esse rótulo aprende a imitar o analista, com todos os seus acertos e vieses, e não a detectar fraude. Para avaliação, o rigor precisa ser ainda maior do que para treino: menos volume, mais qualidade, com revisão dupla nos casos ambíguos. É o conjunto de avaliação que diz se o produto está pronto.

Use rótulo para a resposta associada a cada exemplo de treino. Use verdade de referência (ground truth) quando o rótulo é tratado como padrão de comparação, especialmente na avaliação. Use anotação para o processo de criar rótulos, feito por pessoas ou por outros sistemas. Uma forma simples de diferenciar: rótulo é a resposta de um exemplo; ground truth é o conjunto de respostas aceitas como verdade; anotação é o trabalho de produzi-las.

'Ground truth' vem do sensoriamento remoto (validação em campo); adotado pelo ML como sinônimo de resposta correta de referência.

Google Machine Learning Glossary; Gebru et al., Datasheets for Datasets (2018)