Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽

梯度消失 协变量偏移：真人版电影vs动漫 标签偏移：真假美猴王 概念偏移：病毒的进化，人类的进化。认知迟延，知识需要更新。 e.g.1一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到： A协变量偏移  B标签偏移 C概念偏移  D没有问题 答案解析：A 可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。 在深层网络中尽量避免选择sigmoid和tanh激

一.过拟合及欠拟合及其解决方案 训练误差和泛化误差 训练误差是指在训练数据集上表现出的误差，泛化误差指的是模型在任意一个测试数据样本上表现出来的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以用损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。在机器学习模型应关注降低泛化误差。 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训

Task 03:  欠拟合现象：模型无法达到一个较低的误差 过拟合现象：训练误差较低但是泛化误差依然较高，二者相差较大 Task 04: 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 注意力机制 注意力层显式地选择相关的信息。 注意层的内存由键-值对组成，因此它的输出接近于键类似于查询的值。 Task 05: 卷积神经网络基础

Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。 训练误差（training error），指模型在训练数据集上表现出的误差； 泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合现象：模型无法达到一个较低的误差。 过拟合现象：训练误差较低但是泛化误