Destilação de conhecimento

É a técnica de treinar um modelo pequeno, chamado de aluno, para imitar as saídas de um modelo grande, chamado de professor. O aluno aprende a reproduzir o comportamento do professor em uma tarefa e herda parte da qualidade dele, com uma fração do custo de execução. É uma das formas mais comuns de criar modelos pequenos especializados: usa-se o modelo grande para gerar respostas de qualidade para muitos exemplos, e essas respostas viram os dados de treinamento do modelo pequeno. O modelo destilado não fica tão bom quanto o professor em tudo, mas costuma ficar muito próximo na tarefa específica para a qual foi treinado.

Em Produto, destilação é um caminho prático para reduzir custo quando uma funcionalidade baseada em LLM funciona bem, mas ficou cara em escala. O fluxo típico é: rodar o modelo caro por um período, coletar as entradas e as saídas aprovadas, e usar esse material para treinar um modelo pequeno que passa a atender a maior parte do volume. É comum obter reduções de 80% a 90% no custo de inferência. Um ponto de atenção é a licença: alguns fornecedores proíbem usar as saídas de seus modelos para treinar modelos concorrentes. Vale verificar os termos antes de iniciar.

Use destilação quando há volume alto, a tarefa é estável e o custo do modelo grande não fecha a conta. Use cascata de modelos quando quiser manter o modelo grande disponível para os casos difíceis, sem treinar nada. Use quantização quando o objetivo é reduzir o custo do mesmo modelo, sem criar um menor. Uma forma simples de diferenciar: destilação cria um modelo menor que imita o grande; cascata usa os dois, cada um no seu papel; quantização deixa o mesmo modelo mais leve.

Hinton, Vinyals & Dean, Distilling the Knowledge in a Neural Network (2015).

Hinton et al., Distilling the Knowledge in a Neural Network (2015)