注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习 Task03 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 欠拟合 当模型无法得到较低的训练误差时，我们将这一现象称作欠拟合（underfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里重点讨论两个因素： 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：265kb
    • 提供者：weixin_38647517

  1. 《动手学深度学习》task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer笔记

  2. 系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：77kb
    • 提供者：weixin_38687968

  1. 《动手学深度学习》pytorch版笔记2

  2. 《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单，写下问题吧，再挖几个坑 1.模型复杂度如何改变，三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式？ 梯度消失，梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧 Task4 机器翻译及相关技术 机器翻

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：112kb
    • 提供者：weixin_38686677

  1. 《动手学深度学习》课后习题2

  2. 《动手学深度学习》学习网址： 《动手学》：过拟合、欠拟合及其解决方案 1. 关于验证数据集的描述错误的是： 答案：测试数据集可以用来调整模型参数。 解析：测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。 B 验证数据集可以用来调整模型参数; C 在数据不够多的时候，k折交叉验证是一种常用的验证方法; D k折交叉验证将数据分为k份，每次选择一份用于验证模型，其余的用于训练模型。 2. 关于过拟合、

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：291kb
    • 提供者：weixin_38666823

  1. 《动手学深度学习》task3

  2. 1.过拟合、欠拟合及其解决方案 模型训练中经常出现的两类典型问题： 1.模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 2.模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，我们重点讨论两个因素：模型复杂度和训练数据集大小。 给定训练数据集，模型复杂度和误差之间的关系： 1.关于torch.cat()的用法 cat是concatn

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：207kb
    • 提供者：weixin_38687928

  1. 《动手学pytorch》Task：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络

  2. 一、过拟合和欠拟合 训练误差和测试误差都大，欠拟合 underfitting。模型复杂度不够。 训练误差小于测试误差，过拟合 overfitting。 影响因素之一：训练数据集大小 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：242kb
    • 提供者：weixin_38646659

  1. 动手学深度学习之深度学习基础

  2. 动手学深度学习之深度学习基础 文章目录动手学深度学习之深度学习基础1、过拟合、欠拟合及其解决方案2、梯度消失、梯度爆炸3、循环神经网络进阶4、机器翻译及相关技术5、注意力机制与Seq2seq模型6、Transformer7、卷积神经网络基础8、LeNet9、卷积神经网络进阶 1、过拟合、欠拟合及其解决方案 训练误差（training error）：模型在训练数据集上表现的误差 泛化误差（generalization error）:模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：67kb
    • 提供者：weixin_38555229

  1. [动手学深度学习PyTorch笔记三]

  2. 一 过拟合、欠拟合及其解决方案 欠拟合（underfitting）： 一类是模型无法得到较低的训练误差，我们将这一现象称作 过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为。 在实践中，我们要尽可能同时应对欠拟合和过拟合。两个主要影响因素：模型复杂度和训练数据集大小。模型复杂度过低会导致欠拟合，过高则导致过拟合，训练数据集过小容易发生过拟合。因此需选取适当的模型复杂度和计算能力范围内可以承受的较大训练数据集。 解决方案 1 权重衰减 权重衰减等价于 L

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：59kb
    • 提供者：weixin_38686860

  1. 《动手学深度学习：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶》

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 简洁实现 def fit_and_plot_pytorch(wd): # 对权重参数衰减。权重名称一般是以weight结尾 net = nn.Linear(num_inputs, 1) nn.init.normal_(net.weight, mean=0, std=1) nn.init.normal_(net.bias, mean=0, std=1) optimizer_w = torc

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：25kb
    • 提供者：weixin_38674616

  1. ElitesAI·动手学深度学习PyTorch版(第二次打卡)

  2. • Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸 知识点 1.训练误差（training error）和泛化误差（generalization error） 训练误差：训练数据集上表现出的误差 泛化误差：模型在测试数据样本上表现出的误差 验证误差：我们可以预留一部分在训练数据集和测试数据集以外的数据代入模型求得得误差。训练数据集和测试数据集以外的数据被称为验证数据集，简称验证集（validation set） 2.过拟合、欠拟合 欠拟合（underfitting）:模型无法得到较

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：424kb
    • 提供者：weixin_38523728

  1. 动手学深度学习实现DAY-2

  2. 节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err

  3. 所属分类：其它

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：50kb
    • 提供者：weixin_38717359

  1. 动手学深度学习PyTorch版 | （3）过拟合、欠拟合及其解决方案

  2. 文章目录一、过拟合、欠拟合概念二、多项式函数拟合实验2.1 初始化模型参数2.2 定义、训练和测试模型三阶多项式函数拟合（正常）线性函数拟合（欠拟合）训练样本不足（过拟合）2.3 权重衰减L2 范数正则化（regularization）2.4 丢弃法丢弃法从零开始的实现简洁实现小结 一、过拟合、欠拟合概念 训练模型中经常出现的两类典型问题： 欠拟合：模型无法得到较低的训练误差 过拟合：模型的训练误差远小于它在测试数据集上的误差 在实践中，我们要尽可能同时应对欠拟合和过拟合。有很多因素可能导致这两

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：295kb
    • 提供者：weixin_38526650

  1. 《动手学深度学习》task3——过拟合、欠拟合及解决方案，梯度消失、梯度爆炸，循环神经网络进阶笔记

  2. 系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：190kb
    • 提供者：weixin_38584058

  1. 《动手学深度学习》组队学习 Task03-05

  2. Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。 训练误差（training error），指模型在训练数据集上表现出的误差； 泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合现象：模型无法达到一个较低的误差。 过拟合现象：训练误差较低但是泛化误

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：42kb
    • 提供者：weixin_38601215

  1. DAY 2 动手学习深度学习

  2. 【任务安排】： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03： 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 梯度消失、梯度爆炸 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测 循环神经网络进阶 深度卷积神经网络（AlexNet） 使

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：190kb
    • 提供者：weixin_38520258

  1. 动手学习深度学习—–笔记二

  2. 1 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。训练误差（training error）指模型在训练数据集上表现出的误差和泛化误差（generalization error）。指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可

  3. 所属分类：其它

  1. 动手学深度学习Pytorch版本学习笔记 Task3

  2. 1.过拟合、欠拟合及其解决方案 过拟合：模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 欠拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 解决过拟合的方法：权重衰减（L2 范数正则化）和丢弃法 2.梯度消失和梯度爆炸 a.梯度消失和梯度爆炸 假设一个层数为LL的多层感知机的第ll层H(l)H(l)的权重参数为W(l)W(l)，输出层H(L)H(L)的权重参数为W

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：50kb
    • 提供者：weixin_38694800

  1. 动手学深度学习第二次打卡2/18

  2. task3 task4 and task5 1.过拟合、欠拟合及其解决方案 解决方法包括：验证数据集和交叉验证 权重衰减 L2 范数正则化（regularization） 例如在线性回归中加入带有l2范数惩罚项的损失函数。 当 λ 较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当 λ 设为0时，惩罚项完全不起作用。 2.（1）梯度消失、梯度爆炸以及Kaggle房价预测 当神经网络的层数较多时，模型的数值稳定性容易变差 （2）考虑环境因素 协变量偏移 标签偏移 概

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：149kb
    • 提供者：weixin_38686542

  1. 动手学习深度学习|过拟合、欠拟合及其解决方案

  2. 一 过拟合与欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 1 训练误差与泛化误差 训练误差：在训练集上的数据误差； 泛化误差：在其他任意数据集上的误差的期望，常用测试集误差来近似 模型选择：通常用验证集来进行模型选择 K折交叉验证：将数据集分成相等的K个子数据集来进行K次训练和验证，每次将其中1个当作验证集进行验证模型，另外K-1个数据集进行训练，最后K次后取训练误差的均值和验证误差的均值 2 过拟合和欠拟合 过拟合：训练集的误差远小于测试集的误差 欠拟合：模型无法得到较小的训

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：55kb
    • 提供者：weixin_38627826
« 12 »