为了解决传统RNN无法长时依赖问题，RNN的两个变体LSTM和GRU被引入。
LSTM
Long Short Term Memory，称为长短期记忆网络，意思就是长的短时记忆，其解决的仍然是短时记忆问题，这种短时记忆比较长，能一定程度上解决长时依赖。
上图为LSTM的抽象结构，LSTM由3个门来控制，分别是输入门、遗忘门和输出门。输入门控制网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。最为重要的就是遗忘门，可以决定哪些记忆被保留，由于遗忘门的作用，使得LSTM具有长时记忆的功能。对
import numpy as np
import torch
from torch import nn, optim
import torch.nn.functional as F
载入数据
import sys
sys.path.append(../input/)
import d2l_jay9460 as d2l
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
(corpus_indices, c
