一、深度学习中的一些常见问题及解决方案 （1）欠拟合 欠拟合即模型无法得到较低的训练误差，导致欠拟合的主要原因是模型复杂度不够，特征维度过少，导致拟合的函数无法满足训练集，误差较大。 （2）过拟合 过拟合即模型的训练误差远小于它在测试数据集上的误差，导致过拟合的主要原因是模型复杂度过高，特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。 （3）解决方案 1、应对欠拟合问题，即增加其特征维度，优化模型，提升复杂度即可。 2、应对过拟合问题，有两种常见的解决方案：权重衰减和

一、二维卷积层 卷积神经⽹网络（convolutional neural network）是含有卷积层（convolutional layer）的神经⽹网络。 二维卷积层输出的⼆二维数组可以看作是输⼊入在空间维度（宽和⾼高）上某⼀一级的表征，也叫特征图（feature map）。影响元素 的前向计算的所有可能输⼊入区域（可能⼤大于输⼊入的实际尺⼨寸）叫做 的感受野（receptive field）。 二、填充和步幅 填充可以增加输出的⾼高和宽。这常⽤用来使输出与输⼊入具有相同的⾼高和宽。 步

Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念 欠拟合：模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。 过拟合：模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是考虑影响因素太多，超出自变量的维度过于多了。 在表征线性回归模型的下面三张图中，左图使用一条直线来做预测模型，很明显无论如何调整起

一、梯度消失、梯度爆炸以及Kaggle房价预测 随机初始化模型参数 在神经网络中，通常需要随机初始化模型参数。下面我们来解释这样做的原因。 如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。**在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。**之后的迭代也是如此。在这种情况下，无论隐藏单元有多少，隐藏层本质上只有1个隐藏单元在发挥作用。因此，正如在前面的实验中所做的那样，我