PyTorch语言建模工具包（用于快速重量存储系统） 该存储库包含论文中用于语言建模实验的正式代码： ... 更一般而言，它可以用作PyTorch中的语言建模工具包来进行以下实验： 具有不同更新规则和线性注意功能的快速重量存储系统： 更新规则：删除后的“ sum”和“ ours”（如本文所建议；第4.2节） 线性注意功能：“基于ELU的”线性注意，“ FAVOR +”，“确定性无参数投影（DPFP）” 例如，某些组合会产生众所周知的模型： =“求和”更新规则+“基于ELU”的线性注意 =“总和”