© 1999-2048 dssz.net 粤ICP备11031372号
[其它] coco-lm-pytorch:在Pytorch中实现COCO-LM,纠正和对比用于语言模型预训练的文本序列-源码
说明:COCO LM预训练(WIP) 在Pytorch中实现 ,纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习,以进行语言模型预训练。 似乎是Electra的坚实后继者。 安装 $ pip install coco-lm-pytorch 用法 使用x-transformers库的示例 $ pip install x-transformers 然后 import torch from torch import nn from x_transformers import<weixin_42172572> 上传 | 大小:117kb