1. 过拟合 欠拟合 特征复杂，但是训练 样本数不足时，会产生过拟合，即训练误差小，但是在测试集上的测试误差比较大，即泛化能力强 解决的办法是增加样本数量 或用L2范数进行征罚。 增加样本数量的方法比较简单，但是费人费物。 L2的范数也叫权重衰减。 对绝对值 比较大的权重参数进行拟合，从而改善范化误差。 本质 上是将权重值 向较小值 的区别压缩。 另一种方法是dropout （丢弃法） 丢弃法不改变输入的期望，按一定的概率 丢弃隐藏层中的单元。 p为丢弃率， 1-p 为保存率 欠拟合不是太容易发