PyTorch语言建模工具包（用于快速重量存储系统）
该存储库包含论文中用于语言建模实验的正式代码：
...
更一般而言，它可以用作PyTorch中的语言建模工具包来进行以下实验：
具有不同更新规则和线性注意功能的快速重量存储系统：
更新规则：删除后的“ sum”和“ ours”（如本文所建议；第4.2节）
线性注意功能：“基于ELU的”线性注意，“ FAVOR +”，“确定性无参数投影（DPFP）”
例如，某些组合会产生众所周知的模型：
=“求和”更新规则+“基于ELU”的线性注意
=“总和”
