演员 pytorch Performer的简单实现。 模型 表演者使用随机特征图来近似内核。内核期望取代Transformer的“点积自关注”。 Softmax内核 kernel_transformation=softmax_kernel_transformation. 鲁鲁内核 kernel_transformation=relu_kernel_transformation 测试与范例 语言模型 动力总成 预训练屏蔽语言模型。 预训练文件： /example/train_mlm.py