机器翻译及相关技术 1、机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 1.数据预处理 将数据集清洗、转化为神经网络的输入minbatch def preprocess_raw(text): # 处理空格 text = text.replace('\u202f', ' ').replace('\xa0', ' '

伯禹公益AI《动手学深度学习PyTorch版》Task 08 学习笔记 Task 08：文本分类；数据增强；模型微调 微信昵称：WarmIce 文本分类 前面一堆数据处理和对双向循环神经网络的讲解可以忽略了，之前都讲过，咱也都详细聊过。 这里主要说一下情感分类在使用双向循环神经网络时的一个细节。我们可以根据双向循环网络得到t个时刻的双向的经过concat的隐藏状态，那么如何利用这t个信息进行二分类呢（假设只进行正面与反面的二分类）。给的例子中，只使用了第1个时刻的concat后的隐藏状态与第t

有效长度 def SequenceMask(X, X_len,value=0): maxlen = X.size(1) mask = torch.arange(maxlen)[None, :].to(X_len.device) < X_len[:, None] X[~mask]=value return X 在seq2seq模型中，解码器只能隐式地从编码器的最终状态中选择相应的信息。然而，注意力机制可以将这种选择过程显式地建模。 unsqueeze()函数