您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. 《动手学深度学习》机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

  2. 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer机器翻译及其相关技术编码器和解码器编码器解码器束搜索贪婪搜索束搜索注意力机制与Seq2Seq模型计算背景变量Transformer 机器翻译及其相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 编码器和解码器 在翻译时,输入句子和输出句子往往不一样长,所以为了处理输入
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:265kb
    • 提供者:weixin_38596485
  1. 《动手学深度学习》笔记 Task04 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

  2. 机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 将数据集清洗、转化为神经网络的输入minbatch 分词 字符串—单词组成的列表 建立词典 单词组成的列表—单词id组成的列表 载入数据集 Encoder-Decoder encoder:输入到隐藏状态 decoder:隐藏状态到输出 Sequence to Sequen
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:308kb
    • 提供者:weixin_38739837
  1. 《动手学深度学习》Task04:机器翻译及相关技术+注意力机制与Seq2seq模型+Transformer

  2. 文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq2seq模型3 Transformer3.1 Transformer结构概念3.2 Transformer结构层剖析3.3 Transformer之Encoder+Decoder 1 机器翻译及相关技术 1.1
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:725kb
    • 提供者:weixin_38667408
  1. 《动手学深度学习Pytorch版》Task4-机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

  2. 机器翻译及相关技术 Task2中的循环神经网络部分,有实现预测歌词的功能。在那个任务中,训练数据的输入输出长度是固定的,而在机器翻译中,输出的长度是不固定的,所以不能直接用RNN来处理这种任务。 Encoder-Decoder框架是常用于机器翻译,对话系统这类场景的框架。 需要注意的是,在训练过程中Decoder的输入是真实的label,而预测时,输入是上一个ceil的预测值 机器翻译解码 通常用beam search。beam search是一种贪心算法,不是全局最优解。 注意力机制 在“
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:342kb
    • 提供者:weixin_38653602
  1. 动手学深度学习-学习笔记(四)

  2. 本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。 一、机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 字符在计算机里是以编码的形式存在,我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 (ISO/IEC_88
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:752kb
    • 提供者:weixin_38664556
  1. 《动手学深度学习》task4——机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer笔记

  2. 系统学习《动手学深度学习》点击这里: 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:77kb
    • 提供者:weixin_38687968
  1. 《动手学深度学习》第二次打卡-学习小队

  2. 一、学习任务: Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer Task05:卷积神经网络基础;leNet;卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合:太过贴近于训练数据的特征了,在训练集上表现非常优秀,近乎完美的预测/区分了所有的数据,但是在新的测试集上却表现平平 欠拟合:样本不够或者算法不精确,测试样本特性没有学到,不具泛化性,拿到新样本后
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:500kb
    • 提供者:weixin_38613154
  1. 动手学深度学习Pytorch版本学习笔记 Task4

  2. 1.机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 主要步骤: 1. 数据预处理 2.分词 3.建立词典 Sequence to Sequence模型: 2.注意力机制与Seq2seq模型 a.点注意力机制与多层感知机注意力机制 b.引入注意力机制的Seq2seq模型:将注意机制添加到sequence to sequence
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:195kb
    • 提供者:weixin_38717896
  1. 《动手学深度学习:机器翻译及其相关技术;注意力机制与Seq2Seq模型;Transformer》

  2. 机器翻译 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 训练 def train_ch7(model, data_iter, lr, num_epochs, device): # Saved in d2l model.to(device) optimizer = optim.Adam(model.parameters(), lr
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:28kb
    • 提供者:weixin_38744962
  1. 笔记:动手学深度学习pytorch(机器翻译,Transformer,注意力机制和Sequence to sequence模型)

  2. – 机器翻译 – 机器翻译与数据集 – 机器翻译 顾名思义,机器翻译就是将一段文本从一种语言翻译到另外一种语言,简称MT,而利用神经网络解决这个问题就被称为神经机器翻译(NMT)。 特征主要是输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 – 数据预处理 将数据集清洗、转化为神经网络的输入minbatch with open('/home/kesci/input/fraeng6506/fra.txt', 'r') as f: raw_text = f.read
  3. 所属分类:其它

  1. 动手学习深度学习|机器翻译\注意力机制

  2. 机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 分词: 字符串—单词组成的列表 建立词典: 单词组成的列表—单词id组成的列表 Encoder-Decoder: 可以应用在对话系统、生成式任务中。 encoder:输入到隐藏状态 decoder:隐藏状态到输出 集束搜索(Beam Search) 维特比算法:选择整体分数最高的句
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:301kb
    • 提供者:weixin_38626473
  1. 《动手学深度学习》Task04 :机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

  2. Task04 :机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer 1.机器翻译及相关技术 机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 步骤: 1.读取数据 2.数据预处理 3.分词:将字符串变成单词组成的列表 4.建立词典:将单词组成的列表变成单词id组成的列表 5.Encoder-Decoder:
  3. 所属分类:其它

  1. 动手学深度学习PyTorch版–Task4、5–机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer;;卷积神经网络基础;leNet;卷积神经网络进阶

  2. 一.机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 1.Encoder-Decoder encoder:输入到隐藏状态 decoder:隐藏状态到输出 class Encoder(nn.Module): def __init__(self, **kwargs): super(Encoder, self)
  3. 所属分类:其它

  1. 动手学深度学习之深度学习基础

  2. 动手学深度学习之深度学习基础 文章目录动手学深度学习之深度学习基础1、过拟合、欠拟合及其解决方案2、梯度消失、梯度爆炸3、循环神经网络进阶4、机器翻译及相关技术5、注意力机制与Seq2seq模型6、Transformer7、卷积神经网络基础8、LeNet9、卷积神经网络进阶 1、过拟合、欠拟合及其解决方案 训练误差(training error):模型在训练数据集上表现的误差 泛化误差(generalization error):模型在任意一个测试数据样本上表现出的误差的期望,常常通过测试数据集
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:67kb
    • 提供者:weixin_38555229
  1. 动手学深度学习_4

  2. 动手学深度学习_41循环神经网络1.1 GRU1.2 LSTM1.3 深层RNN深度循环神经网络1.4 双向RNN双向循环神经网络2 机器翻译3 注意力机制与Seq2seq模型3.1注意力机制3.2 注意力机制框架3.3 点积注意力3.4 引入注意力机制的Seq2seq模型4 Transformer4.1多头注意力层4.2 位置编码4.3 解码器 1循环神经网络 1.1 GRU RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) Ht=ϕ(XtWxh+Ht−1Whh+bh) H_{t}
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:473kb
    • 提供者:weixin_38655987
  1. 动手学深度学习Pytorch Task04

  2. 本节课主要内容为机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer 一、机器翻译及相关技术 机器翻译:将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 导入库 import os os.listdir('/home/kesci/input/') import sys sys.path.append('/home/kesci/input/d2l9528/'
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:789kb
    • 提供者:weixin_38693589
  1. 动手学深度学习(四)

  2. 机器翻译及相关技术; 注意力机制与Seq2seq模型; Transformer 一 机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先,将数据集清洗、转化为神经网络的输入minbatch,分词,建立词典。# Encoder-Decoder encoder:输入到隐藏状态 decoder:隐藏状态到输出 二 注意力机制 在Do
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:604kb
    • 提供者:weixin_38720997
  1. 动手学深度学习 Task4 笔记

  2. 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer 2.15-2.19 一、机器翻译及相关技术 定义: 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 分词 建立词典 载入数据集 二、注意力机制与Seq2seq模型 在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:61kb
    • 提供者:weixin_38516040
  1. 《动手学深度学习——机器翻译及相关技术,注意力机制与seq2seq模型,Transformer》笔记

  2. 动手学深度学习:机器翻译及相关技术,注意力机制与seq2seq模型,Transformer 初次学习机器翻译相关,把课程的概念题都记录一下。 目录: 1、机器翻译及相关技术 2、注意力机制与seq2seq模型 3、Transformer 1、机器翻译以及相关技术 1、机器翻译以及相关技术 1、关于Sequence to Sequence模型说法错误的是: A 训练时decoder每个单元输出得到的单词作为下一个单元的输入单词。 B 预测时decoder每个单元输出得到的单词作为下一个单元的输入单
  3. 所属分类:其它

    • 发布日期:2021-01-20
    • 文件大小:355kb
    • 提供者:weixin_38659789
  1. 动手学深度学习Task4

  2. 机器翻译及相关技术;注意力机制与Seq2Seq模型;Transformer 1.机器翻译及相关技术 2.注意力机制与Seq2Seq模型 3.Transformer 一 机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词,且 输出序列的长度可能与源序列的长度不同;输入序列长度可变,输出序列长度可变。 二 注意力机制与Seq2seq模型 2.1 注意力机制 “ 机器翻译及相关技
  3. 所属分类:其它

    • 发布日期:2021-01-20
    • 文件大小:109kb
    • 提供者:weixin_38660802
« 12 »