注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Task 03 打卡

  2. 1. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 模型训练中经常出现两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 给定训练数据集，模型复杂度和误差之间的关系： 训练数据集大小 影响欠

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：249kb
    • 提供者：weixin_38650516

  1. task 过拟合欠拟合

  2. 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 K折交叉验证 由于验证数据集不参与模型训练，当训练数据

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：142kb
    • 提供者：weixin_38691319

  1. Dive into deep learning task 03- 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 1. 过拟合 欠拟合 特征复杂，但是训练 样本数不足时，会产生过拟合，即训练误差小，但是在测试集上的测试误差比较大，即泛化能力强 解决的办法是增加样本数量 或用L2范数进行征罚。 增加样本数量的方法比较简单，但是费人费物。 L2的范数也叫权重衰减。 对绝对值 比较大的权重参数进行拟合，从而改善范化误差。 本质 上是将权重值 向较小值 的区别压缩。 另一种方法是dropout （丢弃法） 丢弃法不改变输入的期望，按一定的概率 丢弃隐藏层中的单元。 p为丢弃率， 1-p 为保存率 欠拟合不是太容易发

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：45kb
    • 提供者：weixin_38582793

  1. 【动手学学学】NLP相关 [Period 2]

  2. （这里将RNN的知识整理到了这里） （梯度boom/下降、过/欠拟合笔记在基础部分） * Task 2 【NLP初识】* 文本预处理 文本预处理是语言模型的基础，对后续的语言模型有着很大的影响。 文本预处理的过程时间文本中每个token（有时是word有时是char，看需求）转换为向量表示，每个token与向量一一对应（双射）即词向量。 最开始用的是one hot方法来构建这样的词向量，但这会造成数据稀疏，后续出现了很多方法来解决这一问题，例如【word2vec, ELMO, Bert, GP

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：376kb
    • 提供者：weixin_38714641

  1. 第二次打卡笔记（待补充transformer部分）

  2. 文章目录第二次打卡笔记记在前面一点感叹另Task 3 过拟合/欠拟合；梯度消失/梯度爆炸；循环神经网络进阶FittingSolutionGradientSolutionTask 4 机器翻译；注意力机制；TransformerSequence to SequenceAttentionTask 5 卷积神经网络基础与进阶；LeNetConvolutionPadding and StepAbout Pouringdifference:similarity:Fully Connected LayerO

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：163kb
    • 提供者：weixin_38606300

  1. 动手学深度学习Pytorch版本学习笔记 Task 03

  2. 1.过拟合、欠拟合及其解决方案 1.1对于过拟合、欠拟合的理解 我们探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 1.2模型复杂度的影响 1.3训练数据集大小影响 影响欠

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：208kb
    • 提供者：weixin_38750861

  1. 《动手学pytorch》Task：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络

  2. 一、过拟合和欠拟合 训练误差和测试误差都大，欠拟合 underfitting。模型复杂度不够。 训练误差小于测试误差，过拟合 overfitting。 影响因素之一：训练数据集大小 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：242kb
    • 提供者：weixin_38646659

  1. Task 3

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：463kb
    • 提供者：weixin_38530415

  1. Task03&04&05 : 要点记录

  2. Task 03:  欠拟合现象：模型无法达到一个较低的误差 过拟合现象：训练误差较低但是泛化误差依然较高，二者相差较大 Task 04: 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 注意力机制 注意力层显式地选择相关的信息。 注意层的内存由键-值对组成，因此它的输出接近于键类似于查询的值。 Task 05: 卷积神经网络基础

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：35kb
    • 提供者：weixin_38545959

  1. 《动手学深度学习》组队学习 Task03-05

  2. Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。 训练误差（training error），指模型在训练数据集上表现出的误差； 泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合现象：模型无法达到一个较低的误差。 过拟合现象：训练误差较低但是泛化误

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：42kb
    • 提供者：weixin_38601215

  1. 伯禹学习平台打卡（二）

  2. ** TASK 03 ** 1.过拟合、欠拟合及其解决方案 （1）过拟合、欠拟合的概念 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 （2）权重衰减 权重衰减等价于 L2L2 范数正则化（regularization

  3. 所属分类：其它