探讨了灾难性遗忘，以及测量，是这方面的首选之作，很有必要看一下

关于微调BERT的稳定性：误解，解释和强大的基准 Marius Mosbach，Maksym Andriushchenko，Dietrich Klakow 萨尔大学和EPFL 该存储库包含有关“。它是（v2.5.1）的分支。 抽象的 微调经过预训练的基于变压器的语言模型，例如BERT，已成为控制各种NLP基准排行榜的一种普遍做法。尽管微调模型具有强大的经验性能，微调还是一个不稳定的过程：使用多个随机种子训练同一模型可能会导致任务性能产生较大差异。先前的文献（Devlin等人，2019; Lee

克莱尔 该论文介绍了CLEER算法的Keras实现：使用经验重演克服灾难性遗忘的互补学习（IJCAI 2019） 如果您认为这项工作有帮助，请考虑引用以下两项工作： inproceedings {rostami2019complementary，标题= {用于借助经验重播克服灾难性遗忘的补充学习}，作者= {Rostami，M.和Kolouri，S.和Pilly，PK}，书名= {国际人工智能联合会议论文集} ，year = {2019}} phdthesis {rostami2019le

此存储库包含NAACL 2019论文“从预训练的语言模型进行学习的尴尬简单方法”的源代码 介绍 本文提出了一种简单的转移学习方法，用于解决灾难性遗忘问题。 我们预先训练语言模型，然后将其转移到新模型，并在其中添加循环层和注意机制。 基于多任务学习，我们使用损失的加权总和（语言模型损失和分类损失），并在（分类）任务上微调预训练模型。 建筑学 第一步： 基于LSTM的单词级语言模型的预训练 第二步： 在分类任务上微调语言模型（LM） 使用辅助LM损耗 使用2个不同的优化器（1个用于预训练零件