Datasheet de dataset

É a documentação de um conjunto de dados: por que foi criado, o que contém, como foi coletado e rotulado, quem está representado (e quem não está), que pré-processamento foi aplicado, quais usos são recomendados e quais são desaconselhados, questões de consentimento e privacidade, e como é mantido. Torna visível o que costuma ficar implícito, e é onde o viés de amostragem se revela. A ideia veio das fichas técnicas de componentes eletrônicos, que informam as condições de uso seguro.

Em Produto, antes de treinar ou avaliar com um conjunto de dados, vale pedir a datasheet, ou escrever uma. As perguntas “quem coletou, quando, quem ficou de fora” são as que explicam, depois, por que o modelo falha para um grupo. É um investimento pequeno que evita descobertas tardias. Por exemplo, a datasheet revela que as fotos de treinamento de um detector de defeitos foram tiradas em três unidades de uma mesma região, em dias de sol. O modelo falha à noite e com chuva, e agora se sabe por quê.

Use datasheet para documentar dados. Use model card para documentar o modelo. Use linhagem de dados para o caminho entre as fontes e o modelo. Uma forma simples de diferenciar: datasheet descreve o que os dados são; linhagem descreve por onde passaram.

Gebru et al. (2018), por analogia com as fichas técnicas de componentes eletrônicos.

Gebru et al., Datasheets for Datasets (2018)