Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 Transformer 首次由论文 《Attention Is All You Need》 提出，在该论文中 Transformer 用于 encoder – decoder 架构。事实上 Transformer 可以单独应用于 encoder 或者单独应用于 decoder 。 Trans

过拟合、欠拟合及其解决方案 初始化模型参数 定义L2范数惩罚项 定义训练和测试 观察过拟合 使用权重衰减 梯度消失、梯度爆炸 获取和读取数据集 预处理数据 训练模型 K折交叉验证 模型选择 预测并在Kaggle中提交结果 循环神经网络进阶 GRU LSTM 深度循环神经网络 双向循环神经网络 机器翻译及相关技术 数据预处理 分词 建立词典 载入数据集 Encoder-Decoder 注意力机制与Seq2seq模型 注意力机制 点积注意力 多层感知机注意力 Transformer Transfor

一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural N

机器翻译及相关技术； 注意力机制与Seq2seq模型； Transformer 一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先，将数据集清洗、转化为神经网络的输入minbatch，分词，建立词典。# Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 二 注意力机制 在Do