过拟合和欠拟合的概念
过拟合：模型训练误差远小于在测试数据集上的误差，也就是说数据在训练时模型的预测效果好，但是在测试的数据上(要预测的新数据)不能很好的进行预测。
欠拟合：模型无法得到较低的训练误差，也就是说，在训练数据的过程中，就不能很好的对数据进行预测。
主要因素模型复杂度和训练数据集大小
模型复杂度
为了解释模型复杂，以简单多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集，多项式函数拟合的目标是找一个 K 阶多项式函数来近似 y 。
在上式中，
过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
1、过拟合和欠拟合
过拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合
欠拟合：模型训练误差无法降低.
如何应对欠拟合和过拟合？在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
1.1.1、模型复杂度
为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集，多项式函数拟合的目标是找一个 K 阶多项式函数
来近似y.在上式中，wk是模型的权重参数
