注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习Task03-Task05

  2. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 L2 范数正则化（regularization） L2 范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例 其中 w1,w

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：821kb
    • 提供者：weixin_38685882

  1. DAY2-《动手学深度学习》(PyTorch版)

  2. Task03： 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征x和对应的标量标签y组成的训练数据集，多项式函数拟合

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：179kb
    • 提供者：weixin_38677260

  1. 动手学深度学习03：过拟合与欠拟合区别和解决方案

  2. 问题：拿到一个图，不怎么怎么区分是过拟合还是欠拟合 图1： 图2： 图3： 1.观察图： 图1：train loss>>test loss 训练误差（10^3）较大 图2：test loss >> train loss 训练误差（10^1）较小 图3: test loss = train loss 2.得出： 图1 模型训练还没得到较好结果，因此欠拟合 图2 模型训练取得较好结果，但是模型测试结果不好，因此过拟合 图3 训练和测试同分布，正常 影响拟合

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：102kb
    • 提供者：weixin_38540819

  1. 动手学深度学习之深度学习基础

  2. 动手学深度学习之深度学习基础 文章目录动手学深度学习之深度学习基础1、过拟合、欠拟合及其解决方案2、梯度消失、梯度爆炸3、循环神经网络进阶4、机器翻译及相关技术5、注意力机制与Seq2seq模型6、Transformer7、卷积神经网络基础8、LeNet9、卷积神经网络进阶 1、过拟合、欠拟合及其解决方案 训练误差（training error）：模型在训练数据集上表现的误差 泛化误差（generalization error）:模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：67kb
    • 提供者：weixin_38555229

  1. 动手学深度学习实现DAY-2

  2. 节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err

  3. 所属分类：其它

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：50kb
    • 提供者：weixin_38717359

  1. 动手学深度学习笔记3过拟合、欠拟合

  2. 一、欠拟合与过拟合 误差： 训练误差（training error）：指模型在训练数据集上表现出的误差 泛化误差（generalization error）：指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。机器学习模型应关注降低泛化误差。 Q：如何计算误差？A：引入损失函数（MSE、交叉熵损失）。 验证集：从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。因为不可以使用测试数据选择模型，如调参。所以引入验证集（从训练集中划分出部分验证集），即预

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：365kb
    • 提供者：weixin_38713009

  1. Datawhale 《动手学深度学习》(二)

  2. 动手学深度学习（二）Day 3过拟合&欠拟合及其解决方案一些概念高维线性回归实验从零开始的实现丢弃法梯度消失&梯度爆炸一些理论Kaggle房价预测实战循环神经网络进阶代码实现Day 4机器翻译及相关技术定义代码实现注意力机制与Seq2seq模型注意力机制框架点积注意力多层感知机注意力Seq2seq模型Transformer结构代码实现Day 5卷积神经网络基础二维卷积层填充和步幅多输入通道和多输出通道简洁实现池化IeNet代码实现卷积神经网络进阶深度卷积神经网络（AlexNet）使用重复元素的网

  3. 所属分类：其它

  1. [深度学习]动手学深度学习笔记-4

  2. Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念 欠拟合：模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。 过拟合：模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是考虑影响因素太多，超出自变量的维度过于多了。 在表征线性回归模型的下面三张图中，左图使用一条直线来做预测模型，很明显无论如何调整起

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：411kb
    • 提供者：weixin_38611254

  1. 动手学深度学习笔记2

  2. 模型过拟合与欠拟合 首先我们需要区分训练误差和泛化误差。一般来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 记录一下模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：126kb
    • 提供者：weixin_38694343

  1. 动手学深度学习打卡之二。

  2. 第二次打卡内容（2月15日-18日） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 感觉内容比较多啦，终于看完了。。 下面附上一些学习中查到的资料。 Deep Learning（深度学习）学习笔记整理系列之（一） b站上动手学深度学习 开学前要学完哦！！加油！！ 作者：poppy917

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：28kb
    • 提供者：weixin_38506835

  1. 过拟合与欠拟合（动手学深度学习）

  2. 权重衰减 方法 权重衰减等价于 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。 L2 范数正则化（regularization） L2 范数正则化在模型原损失函数基础上添加 L2 范数惩罚项，从而得到训练所需要最小化的函数。 L2 范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例 ℓ(w1,w2,b)=1n∑i=1n12(x(i)1w1+x(i)2w2+b

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：55kb
    • 提供者：weixin_38556822

  1. 动手学深度学习（Pytorch版）task3-5打卡

  2. 对于task3-5的内容进行打卡 Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 模型复杂度和误差之间的关系 权重衰减的计算公式： Xavier初始化 梯度裁剪 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向量 g ，并设裁剪的阈值是 θ 。裁剪后的梯度为： GRU 重置门用于捕捉时间序列里的短期依赖关系 更新门有助于捕捉时间

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：755kb
    • 提供者：weixin_38735790

  1. 《动手学深度学习》Task03-Task05

  2. 过拟合、欠拟合及其解决方案 训练误差：模型在训练数据集上表现出的误差。 泛化误差：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似——机器学习模型应关注降低泛化误差。 损失函数 （1）平方损失函数 （2）交叉熵损失函数(CrossEntropy Loss)——度量两个概率分布间的差异性，在机器学习中表示为样本的真实分布和模型所预测的分布之间的差异，反复训练使预测分布接近真实分布。 交叉熵公式： 其中p为真实概率分布，q为预测概率分布。交叉熵在分类问题中常常与so

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：507kb
    • 提供者：weixin_38699492