说明:旋转变压器
Rotary Transformer,简称RoFormer,是我们自研的语言模型之一,主要是为Transformer结构设计了新的旋转式位置编码(Rotary Position Embedding,RoPE)。RoPE具有良好的理论性质,并且是目前唯一一种可以应用到线性注意的绝对位置编码,目前来看实验结果也颇为不错。
详细介绍: :
依赖
bert4keras 0.10.4
参考配置:在24G显存的3090上,跑maxlen = 1024,batch_size能跑到8以上。
下载
<weixin_42165980> 上传 | 大小:5kb