Conjuntos de treino, validação e teste

É a divisão dos dados disponíveis em três partes com papéis diferentes. O conjunto de treino é usado para ajustar os parâmetros do modelo. O conjunto de validação serve para comparar versões e escolher configurações durante o desenvolvimento. O conjunto de teste é usado uma única vez, ao final, para medir o resultado em dados que nunca influenciaram nenhuma decisão. A separação existe para evitar que o modelo seja avaliado nos mesmos dados com que aprendeu, o que produziria resultados inflados. Se o time olha o teste para ajustar o modelo, o teste passa a funcionar como validação e perde o valor de medida independente. Quando há poucos dados, usa-se validação cruzada: os dados são divididos em partes e o processo é repetido rotacionando qual parte serve de validação.

Em Produto, a pergunta que vale ouro é: “o número que você está me mostrando é do conjunto de teste?”. Resultados de treino são irrelevantes; resultados de validação são otimistas; só o teste, mantido intocado, diz o que esperar em produção. Com LLMs, o conjunto de avaliação (eval set) cumpre o papel do teste. Ele não pode ser usado para escrever ou ajustar o prompt, senão o resultado deixa de ser confiável. É comum manter um conjunto para desenvolvimento do prompt e outro, separado, para a avaliação final. Também vale pensar em como a divisão é feita. Separar aleatoriamente pode esconder problemas; separar por período, por exemplo, permite verificar se o modelo lida com sazonalidade e com dados mais recentes.

Use conjunto de treino para os dados com que o modelo aprende. Use conjunto de validação para os dados usados durante o desenvolvimento, para comparar versões e ajustar configurações. Use conjunto de teste para a medida final, em dados que nunca foram usados em nenhuma decisão. Use validação cruzada quando há poucos dados e uma divisão fixa deixaria o teste pequeno demais. Uma forma simples de diferenciar: treino ensina; validação orienta as escolhas; teste mede o resultado final, uma única vez.

Prática padrão da estatística e do ML; a divisão em três conjuntos consolidou-se com o aprendizado de máquina aplicado nos anos 1990. Validação cruzada (k-fold) é a variante que rotaciona as partições.

Google Machine Learning Crash Course, Datasets: Dividing the original dataset