Overfitting

É o que acontece quando um modelo “decora” os dados de treinamento, incluindo ruídos e coincidências, e perde a capacidade de acertar em dados novos. Ele parece excelente nos exemplos que já viu e decepciona quando encontra a realidade. O sinal clássico é a diferença entre os resultados: ótimo no conjunto de treino, ruim no conjunto de validação ou teste. É como um aluno que decorou as respostas da prova anterior e não sabe resolver questões parecidas com números diferentes. O oposto é o underfitting: o modelo é simples demais para capturar os padrões e erra até nos dados de treino.

Em Produto, overfitting é o motivo mais comum para o cenário “funcionava no piloto e quebrou em produção”. Por isso, vale desconfiar de resultados bons demais em demonstrações e perguntar em quais dados eles foram medidos. A pergunta essencial é: qual foi o resultado no conjunto de teste, formado por dados que o modelo nunca viu? E esse conjunto representa o que vai acontecer em produção, incluindo os casos difíceis? Com LLMs, existe um fenômeno parecido: um prompt ajustado repetidamente com os mesmos exemplos pode funcionar muito bem neles e mal em casos novos. A solução é a mesma: avaliar com um conjunto separado que não foi usado para construir o prompt.

Use overfitting quando o modelo vai bem nos dados de treino e mal em dados novos, por ter aprendido detalhes específicos demais. Use underfitting quando o modelo é simples demais e vai mal até nos dados de treino. Use drift quando o modelo funcionava bem em produção e piorou com o tempo porque a realidade mudou, e não por ter decorado os dados. Uma forma simples de diferenciar: overfitting explica “funcionava no teste e quebrou em produção”; drift explica “funcionava em produção e parou”.

Conceito estatístico clássico (sobreajuste); central no ML desde o dilema viés-variância (Geman et al., 1992).

Google Machine Learning Crash Course, Overfitting; Google Machine Learning Glossary