注：阅读本博客之前，你需要先掌握：全连接神经网络，卷积神经网络的基本原理。 背景介绍 随着LeNet-5，AlexNet，VGG等神经网络结构的出现，卷积神经网络逐渐从单纯的只拥有卷积操作和下采样的神经网络发展为具有max pooling、dropout以及非线性函数的神经网络。在网络结构变得不断复杂的同时，人们发现，神经网络的效率并没有预期得到提升，反而容易出现梯度消失等情况，因而导致loss难以减少等现象。 对于出现梯度消失的原因，大家可以参考这篇： https://blog.csdn.ne