这个是一位博主写的蒸馏代码例子使用的是resnet18网络作为教师网络，自定义cnn为学生网络，也提供了训练好的模型

Hinton在NIPS 2014workshop中提出知识蒸馏（Knowledge Distillation，下面简称KD）概念： 把复杂模型或者多个模型Ensemble（Teacher）学到的知识 迁移到另一个轻量级模型（ Student ）上叫知识蒸馏。使模型变轻量的同时（方便部署），尽量不损失性能。