注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. Task03: 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 目录 Task03: 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 1、过拟合、欠拟合及其解决方案 1.1 训练误差和泛化误差 1.2 模型选择 1.3 过拟合和欠拟合 1.4 权重衰减 1.5 丢弃法 2、梯度消失、梯度爆炸 2.1 定义 2.2 随机初始化模型参数 2.3 考虑环境因素 3、循环神经网络进阶 3.1 门控循环单位（GRU） 3.2 长短期记忆（LSTM） 3.3 深度循环神经

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：695kb
    • 提供者：weixin_38575536

  1. 动手学深度学习 Task03 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 欠拟合 当模型无法得到较低的训练误差时，我们将这一现象称作欠拟合（underfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里重点讨论两个因素： 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：265kb
    • 提供者：weixin_38647517

  1. Dive into deep learning task 03- 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 1. 过拟合 欠拟合 特征复杂，但是训练 样本数不足时，会产生过拟合，即训练误差小，但是在测试集上的测试误差比较大，即泛化能力强 解决的办法是增加样本数量 或用L2范数进行征罚。 增加样本数量的方法比较简单，但是费人费物。 L2的范数也叫权重衰减。 对绝对值 比较大的权重参数进行拟合，从而改善范化误差。 本质 上是将权重值 向较小值 的区别压缩。 另一种方法是dropout （丢弃法） 丢弃法不改变输入的期望，按一定的概率 丢弃隐藏层中的单元。 p为丢弃率， 1-p 为保存率 欠拟合不是太容易发

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：45kb
    • 提供者：weixin_38582793

  1. 《动手学——循环神经网络进阶、梯度消失、梯度爆炸以及Kaggle房价预测、过拟合、欠拟合及其解决方案》笔记

  2. 《动手学——循环神经网络进阶》笔记 GRU 时间步数较大或者较小时，循环神经网络梯度较容易出现梯度衰减/梯度爆炸。 虽然裁剪梯度可以应对梯度爆炸，但没法解决梯度衰减问题。 所以提出⻔控循环神经⽹络GRU，来捕捉时间序列中时间步距离较⼤的依赖关系 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: Ht=ϕ(XtWxh+Ht−1Whh+bh) GRU: Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：145kb
    • 提供者：weixin_38617602

  1. 小结3：过拟合欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 文章目录过拟合、欠拟合及其解决方法过拟合问题（high variance）欠拟合问题（high bias）梯度消失及梯度爆炸循环网络进阶 过拟合、欠拟合及其解决方法 过拟合问题（high variance） 过拟合问题：是指模型太过复杂，对训练数据效果好，而对新样本泛化能力较弱。 （训练误差低 验证误差高） 产生过拟合的可能原因，可能为其中之一或者都有： 模型的复杂度过高。如网络太深，神经网络中；或者线性回归中模型的阶次 过多的变量特征 训练数据过少 如何解决过拟合： 降低模型复杂度 减少特征数

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：60kb
    • 提供者：weixin_38598745

  1. 过拟合欠拟合及其解决方案、梯度消失梯度爆炸、循环神经网络进阶

  2. 一、过拟合欠拟合及其解决方案 我们将探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 二、梯度消失梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：150kb
    • 提供者：weixin_38637764

  1. DL基于Pytorch Day3 循环神经网络进阶

  2. 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: GRU: • 重置⻔有助于捕捉时间序列⾥短期的依赖关系； • 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 载入数据集 import os os.listdir('/home/kesci/input') Out[1]: ['d2lzh1981', 'houseprices2807', 'jaychou_lyrics4703', 'd2l_jay9460'] I

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：211kb
    • 提供者：weixin_38569166

  1. Task03 循环神经网络进阶（pytorch代码实现）

  2. 循环神经网络进阶 ⻔控循环神经⽹络（GRU） 当时间步数较⼤或者时间步较小时， 循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。 ⻔控循环神经⽹络（GRU）：捕捉时间序列中时间步距离较⼤的依赖关系 CNN： GRU： • 重置⻔有助于捕捉时间序列⾥短期的依赖关系； • 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 GRU pytorch简洁代码实现 import n

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：209kb
    • 提供者：weixin_38664612

  1. AI公益学习循环神经网络进阶

  2. 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 1.2载入数据集 import os os.listdir('/home/kesci/input') import numpy as np import torch from torch import nn, optim import torch.nn.functional as

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：284kb
    • 提供者：weixin_38695159

  1. 《动手学深度学习》Task03：过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

  2. 文章目录1 过拟合、欠拟合及其解决方案1.1 模型选择、过拟合和欠拟合1.2 过拟合和欠拟合1.3 权重衰减1.4 丢弃法2 梯度消失、梯度爆炸2.1 梯度消失和梯度爆炸2.2 考虑环境因素3 循环神经网络进阶3.1 GRU3.2 LSTM3.3 双向循环神经网络 文章目录 过拟合、欠拟合及其解决方案 梯度消失、梯度爆炸 循环神经网络进阶 1 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 1.1 模型选择、过拟合和欠拟合 1.1.1 训练误差和泛

  3. 所属分类：其它

  1. pytorch实现task3——过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 过拟合、欠拟合及解决方案在之前自己已经使用较多较熟练，故跳过。 梯度消失、梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 在神经网络中，通常需要随机初始化模型参数。随机初始化模型参数的方法有很多。在线性回归的简洁实现中，我们使用torch.nn.init.normal_()使模型net的权重参数采用正态分布的随机初始化方式。不过，PyTorch中nn.Module的模块参数都采取了较为合理的

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：73kb
    • 提供者：weixin_38690739

  1. 循环神经网络进阶

  2. 循环神经网络进阶 当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。 门控循环单元（GRU） 门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：129kb
    • 提供者：weixin_38748555

  1. pytorch_task5 卷积神经网络基础；leNet；循环神经网络进阶

  2. Task5卷积神经网络二维卷积层卷积层应用二维互相关运算互相关运算与卷积运算特征图与感受野填充和步幅LeNet 卷积神经网络 本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。 二维卷积层 本节介绍的是最常见的二维卷积层，常用于处理图像数据。 二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。 import torch import torch.nn as nn def corr2d(X,

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：61kb
    • 提供者：weixin_38652147

  1. task03:循环神经网络进阶

  2. 门控循环神经网络 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 GRU #参数初始化 num_inputs, num_hiddens, num_outputs = vocab_size, 256, vocab_size print('will use', device) def get_params(): def _one(shape): ts = torch.tensor(np.random.nor

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：336kb
    • 提供者：weixin_38607026

  1. 《动手学深度学习》task3——过拟合、欠拟合及解决方案，梯度消失、梯度爆炸，循环神经网络进阶笔记

  2. 系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：190kb
    • 提供者：weixin_38584058

  1. 动手学DL|Task5 LeNet+卷积神经网络进阶+循环神经网络进阶

  2. LeNet 笔记 使用全连接层的局限性： 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像，使用全连接层容易导致模型过大。 使用卷积层的优势： 卷积层保留输入形状。 卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大。 LeNet-5是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，一般LeNet即指代LeNet-5，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。 LeNet-5包含七层，

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：869kb
    • 提供者：weixin_38646634

  1. 深度学习基础3——过拟合欠拟合、梯度消失与梯度爆炸、常见循环神经网络

  2. 深度学习基础3 文章目录深度学习基础3一、过拟合欠拟合1.概念2.解决过拟合欠拟合的方法（1）权重缩减（2）丢弃法二、梯度消失与梯度爆炸1.消失与爆炸2.随机初始化3.影响模型效果的其他因素三、循环神经网络进阶1.门控循环神经网络/门控循环单元(GRU)2.LSTM:长短期记忆3.深度循环神经网络(Deep RNN)4.双向循环神经网络(BRNN)   一、过拟合欠拟合 1.概念 欠拟合：训练误差（训练集的损失函数的值）较大。 过拟合：训练误差远远小于泛化误差（任意测试样本误差的期望）。 验证集

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：305kb
    • 提供者：weixin_38606639

  1. 深度学习（三）————过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 目录 过拟合、欠拟合及其解决方案 训练误差和泛化误差 过拟合和欠拟合的概念 模型复杂度和误差之间的关系 解决过拟合的方案 梯度消失及梯度爆炸 循环神经网络进阶 GRU LSTM 深度神经网络 过拟合、欠拟合及其解决方案 训练误差和泛化误差        在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：399kb
    • 提供者：weixin_38635092

  1. 【人工智能学习】【十一】循环神经网络进阶

  2. RNN的问题 RNN（Recurrent Neural Network，循环神经网络）主要应用在自然语言处理、机器翻译、情感分析、时序序列问题。这些的功能的共同特点是具有时序性。卷积神经网络是没有记忆性的（我对这句话的理解是神经元之间没有信息传递，各个WWW矩阵是独立计算的，当然不是说整个网络没有记忆，只是记忆是独立的），RNN通过神经元之间的信息传递保留了记忆（就是一个state变量，加变量是为了增加模型的非线性表达能力），但在长序列，即长时间步的问题上，梯度消失会让网络变得不可训练。 Ht

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：322kb
    • 提供者：weixin_38666527

  1. 动手学深度学习（3.3）——循环神经网络进阶

  2. GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: Ht=ϕ(XtWxh+Ht−1Whh+bh) H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h}) Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​) GRU: Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H~t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh)Ht=

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：294kb
    • 提供者：weixin_38519660
« 12 3 4 »