餐食-V2 这是我们论文的正式pytorch实施： 大学的和 将ImageNet上的 。 在本文中，我们介绍了一种简单而有效的方法，该方法无需任何技巧即可将ImageNet上的原始ResNet-50精度提高到80％+ Top-1。 通常，我们的方法基于最近提出的 ，即通过鉴别器进行整体知识蒸馏。 我们通过1）仅在最终输出中采用相似度损失和鉴别器，以及2）使用来自所有教师组的softmax概率的平均值作为对蒸馏的更强监督，来进一步简化它。 我们方法的一个关键观点是，在蒸馏过程中不应使用单热/硬