（这里将RNN的知识整理到了这里） （梯度boom/下降、过/欠拟合笔记在基础部分） * Task 2 【NLP初识】* 文本预处理 文本预处理是语言模型的基础，对后续的语言模型有着很大的影响。 文本预处理的过程时间文本中每个token（有时是word有时是char，看需求）转换为向量表示，每个token与向量一一对应（双射）即词向量。 最开始用的是one hot方法来构建这样的词向量，但这会造成数据稀疏，后续出现了很多方法来解决这一问题，例如【word2vec, ELMO, Bert, GP