A Fast Learning Algorithm for Deep Belief Nets (2006) - 首 次提出layerwise greedy pretraining的方法，开创deep learning方向。 layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成 Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在 MNI
A Fast Learning Algorithm for Deep Belief Nets (2006) - 首 次提出layerwise greedy pretraining的方法，开创deep learning方向。 layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成 Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在 MNI
deep learning 的一些标志性文章 A Fast Learning Algorithm for Deep Belief Nets (2006) - 首 次提出layerwise greedy pretraining的方法，开创deep learning方向。 layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成 Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整
卷积神经网络基础
互相关运算与卷积运算
卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。
特征图与感受野
二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图（feature map）。影响元素 x 的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做 x 的感受野（receptive
