一、过拟合、欠拟合及其解决方案   一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；   另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 二、梯度消失、梯度爆炸   当我们将w初始化为一个较大的值时，例如>10的值，那么从输出层到输入层每一层都会有一个s

1.过拟合欠拟合及其解决方案 1.1概念 欠拟合（underfitting）：模型无法得到较低的训练误差； 过拟合（overfitting）：模型的误差远小于它在测试数据上的误差。 给定训练集，模型复杂度和误差之间的关系为： 1.2多项式函数拟合实验 %matplotlib inline import torch import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l pr