注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习Pytorch版本学习笔记 Task4

  2. 1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 主要步骤： 1. 数据预处理 2.分词 3.建立词典 Sequence to Sequence模型： 2.注意力机制与Seq2seq模型 a.点注意力机制与多层感知机注意力机制 b.引入注意力机制的Seq2seq模型:将注意机制添加到sequence to sequence

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：199680
    • 提供者：weixin_38717896

  1. 第二次打卡

  2. 过拟合、欠拟合及其解决方案 初始化模型参数 定义L2范数惩罚项 定义训练和测试 观察过拟合 使用权重衰减 梯度消失、梯度爆炸 获取和读取数据集 预处理数据 训练模型 K折交叉验证 模型选择 预测并在Kaggle中提交结果 循环神经网络进阶 GRU LSTM 深度循环神经网络 双向循环神经网络 机器翻译及相关技术 数据预处理 分词 建立词典 载入数据集 Encoder-Decoder 注意力机制与Seq2seq模型 注意力机制 点积注意力 多层感知机注意力 Transformer Transfor

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：33792
    • 提供者：weixin_38632046

  1. 论文解读：DTMT: A Novel Deep Transition Architecture for Neural Machine Translation

  2. 论文解读：DTMT: A Novel Deep Transition Architecture for Neural Machine Translation   本文为一篇神经机器翻译的文章，发表在2019AAAI会议上，主要提出一种深度转移网络（Deep Transition），结合多头注意力解决循环神经网络中同一层不同时刻之间shallow的问题。 一、简要信息 序号 属性 值 1 模型名称 DTMT 2 所属领域 自然语言处理 3 研究内容 神经机器翻译 4 核心

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：252928
    • 提供者：weixin_38607282

  1. Task 04 打卡

  2. 1. 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 流程：数据预处理、导入、训练、测试 Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 Sequence to Sequence 模型： 训练 预测 具体结构： 2. 注意力机制与Seq2Seq模型 注意力机制 在“编码器—

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：199680
    • 提供者：weixin_38529123

  1. seq2seq到加上attention机制，再整合成transformer

  2. 时间问题，，开个好头。 1.机器翻译有一个大问题，就是输入输出的序列长度不一定相等。于是设计出Encoder-Decoder模型 。* 于是就有了Sequence to Sequenceseq模型 简答来说就是在输出的时候：先输入bos，然后以eos为结束标记。 总结： Sequence to Sequence encoder、decoder的网络可以是任意RNN网络：LSTM，双向RNN等； 这里Encoder不需要用到每一个单元的output，只需把H传到Decoder作为初始输入;

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：607232
    • 提供者：weixin_38752074

  1. pytorch学习二

  2. 动手学课程学习回顾： 2：nlp领域 机器翻译 数据预处理——分词——建立词典——载入数据集 encoder、decoder 注意力机制 输入：询问、键值对 softmax屏蔽 超二维矩阵乘法 点积注意力 多层感知机注意力 seq2seq模型 transformer cnn与rnn的区别 多头注意力基于位置的前馈网络 add and norm 位置编码 优化与估计 局部最小值，鞍点，梯度消失 凸性、jensen不等式 梯度下降 一维梯度下降、学习率、局部极小值、多维梯度下降、自适应方法（牛顿法）

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：34816
    • 提供者：weixin_38726007

  1. 伯禹学习第二次打卡

  2. seq2seq模型 定义 sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架。 应用场景 机器翻译 聊天机器人 文本摘要生成 图片描述生成 诗词生成 故事风格改写 代码补全 思路 seq2seq可以说是基于RNN提出的生成序列的模型，一般来说，对于基础的RNN我们可以输入一段序列数据得到一个输出结果，而seq2seq则可以输出一段序列结果。seq2seq分为encoder（编码）和decoder（解码）两个过程： 输出C称为语义向

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：132096
    • 提供者：weixin_38700779

  1. 【学习笔记】动手学深度学习 Task02

  2. (需要一定时间逐步补充以下内容，暂且用做打卡) 1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 模型选择 验证数据集 K折交叉验证 过拟合和欠拟合 模型复杂度 权重衰减 L2 范数正则化 高维线性回归实验 2. 梯度消失、梯度爆炸 梯度消失 梯度爆炸 模型训练和预测 3. 卷积神经网络基础 二维卷积层 二维互相关运算 特征图与感受野 填充和步幅 多输入通道和多输出通道 卷积层与全连接层的对比 卷积、池化 4. 循环神经网络进阶 GRU LSTM 5. 机器翻译及相关技术 数据预处理 分词 建

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：43008
    • 提供者：weixin_38697444

  1. 伯禹学习平台：动手学深度学习3

  2. 学习笔记Task4，这部分没什么兴趣应该不会写有关自己的理解了,直接转过来了，虽然其他的也和转载的差不多。转自伯禹学习平台的动手学深度学习课程 机器翻译及相关技术 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 可以应用在对话系统、生

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：621568
    • 提供者：weixin_38682086

  1. 动手学深度学习之深度学习基础

  2. 动手学深度学习之深度学习基础 文章目录动手学深度学习之深度学习基础1、过拟合、欠拟合及其解决方案2、梯度消失、梯度爆炸3、循环神经网络进阶4、机器翻译及相关技术5、注意力机制与Seq2seq模型6、Transformer7、卷积神经网络基础8、LeNet9、卷积神经网络进阶 1、过拟合、欠拟合及其解决方案 训练误差（training error）：模型在训练数据集上表现的误差 泛化误差（generalization error）:模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：68608
    • 提供者：weixin_38555229

  1. 简单理解RNN循环神经网络

  2. 简单理解RNN循环神经网络RNN(Recurrent Neural Network）介绍图说RNN宏观结构图说RNN微观结构 RNN(Recurrent Neural Network）介绍 介绍： RNN，也就是循环神经网络，是用来建模序列化数据的一种主流的深度学习模型。传统的前馈神经网络处理的输入往往都是一个定长向量，较难应对变长的序列信息，就算把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。而RNN中的每个神经元能够运用其内部变量保存之前输入的序列信息，将所有神经元串行就可以处

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：140288
    • 提供者：weixin_38601878

  1. 动手学深度学习_4

  2. 动手学深度学习_41循环神经网络1.1 GRU1.2 LSTM1.3 深层RNN深度循环神经网络1.4 双向RNN双向循环神经网络2 机器翻译3 注意力机制与Seq2seq模型3.1注意力机制3.2 注意力机制框架3.3 点积注意力3.4 引入注意力机制的Seq2seq模型4 Transformer4.1多头注意力层4.2 位置编码4.3 解码器 1循环神经网络 1.1 GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） Ht=ϕ(XtWxh+Ht−1Whh+bh) H_{t}

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：484352
    • 提供者：weixin_38655987

  1. 自然语言处理基础

  2. Content 文本预处理；语言模型；循环神经网络基础 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 一、文本预处理 文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 Code #文本预处理具体操作 #1、读入文本 import collections import re def read_time_machine(): with

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：472064
    • 提供者：weixin_38617436

  1. 动手学深度学习Pytorch Task04

  2. 本节课主要内容为机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer 一、机器翻译及相关技术 机器翻译：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 导入库 import os os.listdir('/home/kesci/input/') import sys sys.path.append('/home/kesci/input/d2l9528/'

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：807936
    • 提供者：weixin_38693589

  1. 动手学深度学习（四）

  2. 机器翻译及相关技术； 注意力机制与Seq2seq模型； Transformer 一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先，将数据集清洗、转化为神经网络的输入minbatch，分词，建立词典。# Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 二 注意力机制 在Do

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：618496
    • 提供者：weixin_38720997

  1. 动手学深度学习实现DAY-2

  2. 节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38586279

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：51200
    • 提供者：weixin_38717359

  1. [动手学深度学习PyTorch笔记四]

  2. 一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先进行数据预处理，将数据集清洗、转化为神经网络的输入的minbatch，包括分词、建立字典、载入数据集。 Encoder-Decoder 一种通用模型框架。Encoder：编码器，从输入到隐藏状态 Decoder：解码器，从隐藏状态到输出。 特点：输入输出的长度可以不相等。不

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：80896
    • 提供者：weixin_38673909

  1. 动手学深度学习 Task4 笔记

  2. 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 分词 建立词典 载入数据集 二、注意力机制与Seq2seq模型 在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：62464
    • 提供者：weixin_38516040

  1. Neural Machine Translation by Jointly Learning to Align and Translate阅读笔记

  2. 论文原文 Neural Machine Translation by Jointly Learning to Align and Translate 论文信息 ICLR2015 个人解读 Wang Anna & Hytn Chen 更新时间 2020-02-13 机器翻译简介 1980，基于规则的翻译，大致流程就是输入，词性分析，词典查询，语序调整，输出。 1990，基于统计的翻译，为翻译过程建立概率模型，引入隐变量，构造隐变量对数线性模型，设计特征函数，例如2002年学者

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：173056
    • 提供者：weixin_38562026
« 1 2 ... 6 7 8 9 10 1112 13 14 15 »