批量归一化（BatchNormalization） ps 批量归一化本质上是对数据的标准化处理，输入标准化一般用于浅层模型，但是对于深层网络，输入的标准化不够，因为随着模型的迭代更新，依然容易造成靠近输出层，它的数据是剧烈变化的。所以批量归一化的出现是应对深度模型的。 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/6X2EcSYKYpTDlzAKwQhNi 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础知识的介绍，因此很适合本人这种基础较差的同学学习，建议基础较差的同学可以关注伯禹的其他课程：

伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记 Task 06：批量归一化和残差网络；凸优化；梯度下降 微信昵称：WarmIce 批量归一化和残差网络 BN和ResNet都没什么特别好说的。 DenseNet久闻其名，但是一直没有细节了解过其实现。这一次大开眼界，原来文章里面那么密集的连线是由于concat导致的啊。 可以想象一下作者当初提出这个网络的时候是什么想的。第一，像ResNet那样子在skip之后使用加法直接把得到的特征和原特征相加会不会破坏好不容易搞出来的特