本文的主要内容有：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer。 一、机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 字符在计算机里是以编码的形式存在，我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 （ISO/IEC_88

文本预处理 常见的四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ',

一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先进行数据预处理，将数据集清洗、转化为神经网络的输入的minbatch，包括分词、建立字典、载入数据集。 Encoder-Decoder 一种通用模型框架。Encoder：编码器，从输入到隐藏状态 Decoder：解码器，从隐藏状态到输出。 特点：输入输出的长度可以不相等。不

小白知识 二维互相关运算 输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。 图例：阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。 代码实现：corr2d函数实现二维互相关运算，它接受输入数组X与核数组K，并输出数组Y。 import torch import t