注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. L8梯度消失、梯度爆炸.ipynb

  2. 2020 年参加伯禹教育pytorch培训资料-L8梯度消失、梯度爆炸 jupyter notebook源文件 介绍梯度消失和梯度爆炸的基本概念 介绍影响模型效果的其他因素影响：协变量偏移，标签偏移，概念偏移 介绍Kaggle房价预测的实现流程

  3. 所属分类：深度学习

    • 发布日期：2020-02-14
    • 文件大小：35kb
    • 提供者：xiuyu1860

  1. 梯度消失，梯度爆炸.md

  2. 梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测

  3. 所属分类：机器学习

    • 发布日期：2020-02-13
    • 文件大小：10kb
    • 提供者：qq_40441895

  1. Pytorch学习第二次打卡

  2. Pytorch学习第二次打卡 目录 文章目录Pytorch学习第二次打卡目录过拟合、欠拟合及其解决方案欠拟合过拟合解决方法梯度消失，梯度爆炸卷积神经网络卷积层池化层常见卷积网络 过拟合、欠拟合及其解决方案 欠拟合 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 线性函数拟合，如图： 过拟合 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。训练样本不足，如下图： 给定训练数据集，模型复杂度和误差之间的关系：

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：99kb
    • 提供者：weixin_38658568

  1. AI之梯度消失、梯度爆炸以及Kaggle房价预测

  2. 梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化考虑环境因素协变量偏移标签偏移概念偏移Kaggle 房价预测实战获取和读取数据集预处理数据训练模型对数均方根误差实现K折交叉验证模型选择预测并在Kaggle中提交结果 梯度消失和梯度爆炸   深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。   当神经网络的层数较多时，模型的数值稳定性容易变差。   假设一个层数为L的多层感知

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：290kb
    • 提供者：weixin_38733875

  1. 动手学深度学习PyTorch版—day02

  2. 目录   Day02 1.过拟合，欠拟合及解决 训练误差 泛化误差 过拟合 过拟合解决方案 欠拟合 2.梯度消失，梯度爆炸 考虑环境因素 协变量偏移 标签偏移 概念偏移 3.卷积神经网络基础 ALexNet VGG GoogLeNet 4.批量归一化，残差结构，密集连接 BN 对全连接层做批量归一化 对卷积层做批量归一化 预测时的批量归⼀化 Day02 过拟合、欠拟合及解决方案；梯度消失，梯度爆炸；注意力机制与Seq2seq;卷积神经网络基础 1.过拟合，欠拟合及解决 训练误差 指模型在训练集上

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：137kb
    • 提供者：weixin_38632825

  1. 《动手学深度学习》pytorch版笔记2

  2. 《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单，写下问题吧，再挖几个坑 1.模型复杂度如何改变，三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式？ 梯度消失，梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧 Task4 机器翻译及相关技术 机器翻

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：112kb
    • 提供者：weixin_38686677

  1. 动手学深度学习pytorch第二阶段

  2. 过拟合、欠拟合解决方案 过拟合、欠拟合 方法一： 加入正则项。 方法二： 丢弃法。 梯度消失、梯度爆炸 随机初始化模型参数 模型复杂度 下图是模型复杂度 LeNet 为了使读者更加形象的看到数据，添加额外的部分来展示数据的图像 import matplotlib.pyplot as plt def show_fashion_mnist(images, labels): d2l.use_svg_display() # 这里的_表示我们忽略（不使用）的变量 _, figs

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：264kb
    • 提供者：weixin_38682086

  1. Learn Pytorch in 14 days (Task2）

  2. 7. 梯度消失、梯度爆炸、kaggle房价预测 7.1 目的 了解基本建模过程 7.2 概念 （1）梯度消失和梯度爆炸 梯度消失：层数太多以后，因为权重系数小于0，输出层的结果趋近于0. 梯度爆炸：层数太多以后，因为权重系数大于0，输出层的结果趋近于无穷大。 （2）随机初始化模型参数 pytorch默认随机初始化：torch.nn.init.normal_()，使模型权重采用正态分布的随机初始化。 Xavier随机初始化：假设某全连接层的输入个数为a，输出个数为b，Xavier随机初始化将使该层

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：371kb
    • 提供者：weixin_38592611

  1. 《动手学深度学习Pytorch版》Task3-过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸

  2. 过拟合、欠拟合 训练/泛化误差 训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting） 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting） 容易引起过拟合、欠拟合的其中两个因素： 模

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：685kb
    • 提供者：weixin_38708461

  1. 《动手学pytorch》Task：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络

  2. 一、过拟合和欠拟合 训练误差和测试误差都大，欠拟合 underfitting。模型复杂度不够。 训练误差小于测试误差，过拟合 overfitting。 影响因素之一：训练数据集大小 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：242kb
    • 提供者：weixin_38646659

  1. pytorch学习二

  2. 动手学课程学习回顾： 2：nlp领域 机器翻译 数据预处理——分词——建立词典——载入数据集 encoder、decoder 注意力机制 输入：询问、键值对 softmax屏蔽 超二维矩阵乘法 点积注意力 多层感知机注意力 seq2seq模型 transformer cnn与rnn的区别 多头注意力基于位置的前馈网络 add and norm 位置编码 优化与估计 局部最小值，鞍点，梯度消失 凸性、jensen不等式 梯度下降 一维梯度下降、学习率、局部极小值、多维梯度下降、自适应方法（牛顿法）

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：34kb
    • 提供者：weixin_38726007

  1. ElitesAI·动手学深度学习PyTorch版(第二次打卡)

  2. • Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸 知识点 1.训练误差（training error）和泛化误差（generalization error） 训练误差：训练数据集上表现出的误差 泛化误差：模型在测试数据样本上表现出的误差 验证误差：我们可以预留一部分在训练数据集和测试数据集以外的数据代入模型求得得误差。训练数据集和测试数据集以外的数据被称为验证数据集，简称验证集（validation set） 2.过拟合、欠拟合 欠拟合（underfitting）:模型无法得到较

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：424kb
    • 提供者：weixin_38523728

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：50kb
    • 提供者：weixin_38717359

  1. pytorch实现task3——过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 过拟合、欠拟合及解决方案在之前自己已经使用较多较熟练，故跳过。 梯度消失、梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 在神经网络中，通常需要随机初始化模型参数。随机初始化模型参数的方法有很多。在线性回归的简洁实现中，我们使用torch.nn.init.normal_()使模型net的权重参数采用正态分布的随机初始化方式。不过，PyTorch中nn.Module的模块参数都采取了较为合理的

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：73kb
    • 提供者：weixin_38690739

  1. 动手学深度学习Pytorch版本学习笔记 Task3

  2. 1.过拟合、欠拟合及其解决方案 过拟合：模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 欠拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 解决过拟合的方法：权重衰减（L2 范数正则化）和丢弃法 2.梯度消失和梯度爆炸 a.梯度消失和梯度爆炸 假设一个层数为LL的多层感知机的第ll层H(l)H(l)的权重参数为W(l)W(l)，输出层H(L)H(L)的权重参数为W

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：50kb
    • 提供者：weixin_38694800

  1. 《动手学深度学习PyTorch版》打卡_Task3，过拟合，欠拟合，梯度消失，梯度爆炸

  2. 最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程，对过拟合，欠拟合，梯度消失，梯度爆炸做下笔记。 过拟合和欠拟合 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting） 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合 解决方法 权重衰减 权重衰减等价于 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。带有L2L2范数惩罚项的新损失函

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：114kb
    • 提供者：weixin_38752897

  1. 动手深度学习(Pytorch)之路—第二次打卡

  2. 引言 今天分享的内容有：首先聊聊深度学习中存在的过拟合、欠拟合现象，以及梯度消失、梯度爆炸等。其次，分享一个本人梳理的卷积神经网络、循环神经网络代码结构。 过拟合、欠拟合 模型的泛化能力是深度学习的一大问题，所谓泛化能力就是模型在训练数据集和测试数据集上的表现情况。泛化能力强的模型，在训练数据集和测试数据集上都具有良好的表现；泛化能力差的模型，往往在训练集上表现良好（或在训练数据集上表现也很差），同时，在测试数据集上的表现也同样差强人意。若泛化能力的模型主要分为两类：（1）如果在训练集表现差，在

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：311kb
    • 提供者：weixin_38547421

  1. 动手学深度学习（Pytorch版）task3-5打卡

  2. 对于task3-5的内容进行打卡 Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 模型复杂度和误差之间的关系 权重衰减的计算公式： Xavier初始化 梯度裁剪 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向量 g ，并设裁剪的阈值是 θ 。裁剪后的梯度为： GRU 重置门用于捕捉时间序列里的短期依赖关系 更新门有助于捕捉时间

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：755kb
    • 提供者：weixin_38735790

  1. Datawhale&kesci&伯禹教育-深度学习-第二次打卡2梯度消失和爆炸

  2. 1. 深度学习模型中梯度会出现2种极端消失（vanishing）和爆炸（explosion） 产生的原因：模型太深。 2. 随机初始化模型参数的原因 避免同一层参数一样，经过有限次迭代依旧一样。 3. pytorch 的nn.module 已经默认经过合理初始化 4.几个偏移概念 （1）协变量偏移（x偏移）： 训练一堆真实的猫狗图像，但是测试的是卡通猫狗。 （2）标签偏移（y偏移）：测试出现了训练时没有出现的标签 （3）概念偏移（不常见）：发生很缓慢 作者：炼丹法师SunFine

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：30kb
    • 提供者：weixin_38597970

  1. pytorch网络参数 weight bias 初始化详解

  2. 权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。 在pytorch的使用过程中有几种权重初始化的方法供大家参考。 注意：第一种方法不推荐。尽量使用后两种方法。 # not recommend def weights_init(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: m.weight.data.normal_(0.0, 0.02) elif clas

  3. 所属分类：其它

    • 发布日期：2021-01-19
    • 文件大小：64kb
    • 提供者：weixin_38740130
« 12 »