Generalização

É a capacidade de um modelo acertar em dados que ele não viu durante o treinamento. É, na prática, a única coisa que importa em produção: um modelo que só acerta o que já conhece não serve para lidar com usuários e situações novas. A generalização é medida com dados separados, chamados de conjunto de teste, que precisam representar o uso real, incluindo os casos raros e difíceis. Se o teste só contém casos fáceis, o número obtido não diz nada sobre o que vai acontecer em produção. Boa generalização é o objetivo; overfitting é a falha mais comum no caminho até ele.

Em Produto, toda promessa de qualidade precisa vir acompanhada de “medido em quais dados”. Um modelo com 95% de acerto pode ser excelente ou inútil, dependendo de o conjunto de teste representar ou não a operação real. O papel de Produto é garantir que a avaliação inclua o que acontece de verdade: os casos raros, os grupos minoritários, as condições adversas. Por exemplo, um detector de imagens precisa ser testado com fotos noturnas, com chuva e de baixa qualidade, e não apenas com as fotos bonitas do piloto. Também vale acompanhar a generalização depois do lançamento, comparando o desempenho em produção com o da avaliação. Uma diferença grande indica que o teste não representava a realidade.

Use generalização para falar da capacidade do modelo de funcionar bem em dados novos. Use overfitting para a falha em que o modelo decora o treino e não generaliza. Use conjunto de teste ou eval set para falar do instrumento usado para medir a generalização. Uma forma simples de diferenciar: generalização é a propriedade desejada; overfitting é a falha; o conjunto de teste é a forma de medir.

Objetivo central da teoria de aprendizado estatístico (Vapnik, anos 1970-90).

Google Machine Learning Glossary