Task03 错题 一.过拟合、欠拟合及解决方法 二.梯度消失、梯度爆炸 可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。 三.循环神经网络进阶 实现深层循环神经网络需要修改的参数是？num_layers 3. GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。 4. 每个循环单元中的记

疑问及思考：对于梯度爆炸与梯度消失的影响理解还不透彻，只知道多层神经网络后梯度可能趋于非常大或者接近0 的值， 但实际上呢？例如权重裁剪，可以解决爆炸的问题吗？会不会反而带来了梯度消失的问题？这种是不是得通过实验来获得感性认识。 过拟合、欠拟合以及解决方案； 梯度消失梯度爆炸；循环神经网络进阶 训练集、验证集、测试集 验证集与测试集的差异 验证集用于调参，而测试集仅仅用于评价模型好坏，不能用于调参 而测试集往往较大， 大于训练集与验证集 过拟合解决 drop out， 以一定概率关闭一层内的神经

目录：         1，过拟合和欠拟合的定义         2， 过拟合和欠拟合的解决方法         3， 梯度消失和爆炸的定义         4，梯度消失和爆炸的解决方法 1，过拟合和欠拟合的定义          无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。                                          所谓过拟合（over-fitti

Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） 第一次接触encoder-decoder两个概念，自动翻译的核心，就是先将一句话编码，然后通过解码，得到新的语言，听起来很玄，nlp还是要复杂很多的； 注意力机制，本质上是提取一段字符内值得注意的概