注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习Task03-Task05

  2. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 L2 范数正则化（regularization） L2 范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例 其中 w1,w

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：821kb
    • 提供者：weixin_38685882

  1. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. Task03: 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 目录 Task03: 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 1、过拟合、欠拟合及其解决方案 1.1 训练误差和泛化误差 1.2 模型选择 1.3 过拟合和欠拟合 1.4 权重衰减 1.5 丢弃法 2、梯度消失、梯度爆炸 2.1 定义 2.2 随机初始化模型参数 2.3 考虑环境因素 3、循环神经网络进阶 3.1 门控循环单位（GRU） 3.2 长短期记忆（LSTM） 3.3 深度循环神经

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：695kb
    • 提供者：weixin_38575536

  1. Task 03 打卡

  2. 1. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 模型训练中经常出现两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 给定训练数据集，模型复杂度和误差之间的关系： 训练数据集大小 影响欠

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：249kb
    • 提供者：weixin_38650516

  1. 动手学深度学习 Task03 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 欠拟合 当模型无法得到较低的训练误差时，我们将这一现象称作欠拟合（underfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里重点讨论两个因素： 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：265kb
    • 提供者：weixin_38647517

  1. 【DL学习笔记】打卡02：Task03-05

  2. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：69kb
    • 提供者：weixin_38508497

  1. Task03、Task04、Task05

  2. 本文意在于记录短期学习中同僚总结的知识点，主要学习平台在伯禹https://www.boyuai.com/elites/course/cZu18YmweLv10OeV Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：115kb
    • 提供者：weixin_38571878

  1. 伯禹AI – task03 过拟合、欠拟合及其解决方案 -梯度消失与爆炸、循环神经网络进阶

  2. 在介绍以上概念之前要理解 训练集、测试集与验证集的区分：     从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。     训练误差（traini

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：254kb
    • 提供者：weixin_38608189

  1. Task03:过拟合、欠拟合及其解决方案/梯度消失、梯度爆炸/循环神经网络进阶

  2. 1 过拟合、欠拟合及其解决方案 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 模型选择 验证数据集

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：753kb
    • 提供者：weixin_38722891

  1. Task03：过拟合、欠拟合及其解决方案学习笔记

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：106kb
    • 提供者：weixin_38727199

  1. 【动手学深度学习】Task03笔记汇总

  2. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响，或许有很多研究怎么丰富数据集的文献吧，数据集大，那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法： 权重衰减，也即L2-Norm Regularization。从公式和名字易见，该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。（那么自然而然会产生的问题就是：为什么不对偏置做正则化，这个可以去实验一下，应该会发现偏置没有

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：103kb
    • 提供者：weixin_38735987

  1. 动手学 task03 过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

  2. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度与过拟合、欠拟合的关系如下图： 训练数据集大小： 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：50kb
    • 提供者：weixin_38749305

  1. ElitesAI·动手学深度学习PyTorch版Task03打卡

  2. Task3打卡 1、过拟合、欠拟合及其解决方案 目录： 相关的基本概念 权重衰减 过拟合、欠拟合解决方法 1、相关的基本概念 训练误差： 模型在训练数据集上表现出的误差。 泛化误差： 模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合（underfitting）： 模型无法得到较低的训练误差。 过拟合（overfitting）： 模型的训练误差远小于它在测试数据集上的误差。 注：在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：432kb
    • 提供者：weixin_38641876

  1. 《动手学深度学习》Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 一、模型选择、过拟合和欠拟合 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，

  3. 所属分类：其它

  1. task03过拟合、欠拟合

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：97kb
    • 提供者：weixin_38555304

  1. 《动手学深度学习》Task03：过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

  2. 文章目录1 过拟合、欠拟合及其解决方案1.1 模型选择、过拟合和欠拟合1.2 过拟合和欠拟合1.3 权重衰减1.4 丢弃法2 梯度消失、梯度爆炸2.1 梯度消失和梯度爆炸2.2 考虑环境因素3 循环神经网络进阶3.1 GRU3.2 LSTM3.3 双向循环神经网络 文章目录 过拟合、欠拟合及其解决方案 梯度消失、梯度爆炸 循环神经网络进阶 1 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 1.1 模型选择、过拟合和欠拟合 1.1.1 训练误差和泛

  3. 所属分类：其它

  1. Task03：过拟合、欠拟合及梯度爆炸与梯度消失

  2. K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验证误差分别求平均。 过拟合和欠拟合 模型训练中经常出现的两类典型问题

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：48kb
    • 提供者：weixin_38706603

  1. 《动手学深度学习》组队学习 Task03-05

  2. Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。 训练误差（training error），指模型在训练数据集上表现出的误差； 泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合现象：模型无法达到一个较低的误差。 过拟合现象：训练误差较低但是泛化误

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：42kb
    • 提供者：weixin_38601215

  1. 动手学深度-Task03

  2. 疑问及思考：对于梯度爆炸与梯度消失的影响理解还不透彻，只知道多层神经网络后梯度可能趋于非常大或者接近0 的值， 但实际上呢？例如权重裁剪，可以解决爆炸的问题吗？会不会反而带来了梯度消失的问题？这种是不是得通过实验来获得感性认识。 过拟合、欠拟合以及解决方案； 梯度消失梯度爆炸；循环神经网络进阶 训练集、验证集、测试集 验证集与测试集的差异 验证集用于调参，而测试集仅仅用于评价模型好坏，不能用于调参 而测试集往往较大， 大于训练集与验证集 过拟合解决 drop out， 以一定概率关闭一层内的神经

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：40kb
    • 提供者：weixin_38691482

  1. 动手学深度学习Pytorch版Task03

  2. 过拟合、欠拟合及其解决方案 1.概念 无法得到较低的训练误差称作欠拟合 得到的误差极小即远小于训练集的误差称作过拟合 2.模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：159kb
    • 提供者：weixin_38623366

  1. 《动手学深度学习》Task03-Task05

  2. 过拟合、欠拟合及其解决方案 训练误差：模型在训练数据集上表现出的误差。 泛化误差：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似——机器学习模型应关注降低泛化误差。 损失函数 （1）平方损失函数 （2）交叉熵损失函数(CrossEntropy Loss)——度量两个概率分布间的差异性，在机器学习中表示为样本的真实分布和模型所预测的分布之间的差异，反复训练使预测分布接近真实分布。 交叉熵公式： 其中p为真实概率分布，q为预测概率分布。交叉熵在分类问题中常常与so

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：507kb
    • 提供者：weixin_38699492
« 12 »