说明:NTHU_LAB-模型压缩-MESA-2
流程概述
初始火车
一般的训练
修剪
采用规范碱基方法对卷积层每一层中的过滤器进行裁剪。以Alexnet为例,有5层卷积层,参考与的做法,对每一层过滤的裁剪率分别为0.16, 0.62, 0.65, 0.63, 0.63 。
修剪再培训
几乎几乎一般的训练,差异在
将被prune掉的nodes的gradient为0,确保他们不被更新
除了原本对label的loss,加入==卷积层loss ==:
量化
参考 ,对每一层卷积层进行量化
for layer
<weixin_42150360> 上传 | 大小:29kb