转换码 介绍 在此仓库中，我们介绍了一种用于基于预训练的语言模型的新架构ConvBERT 。该代码在V100 GPU上进行了测试。有关详细说明和实验结果，请参阅我们的NeurIPS 2020论文 。 要求 的Python 3 张量流1.15 麻木 scikit学习 实验 预训练 这些指令使用语料库对中小型ConvBERT模型（17M参数）进行了。 要构建tf-record并对其进行预训练，请下载语料库（12G），并在build_data.sh和pretrain.sh设置数据目录。然后跑 bash

:waving_hand: 嗨，您好 我在 :books: 现在，请访问，观看和加注我们！ 我目前正在开发很棒的库，并且喜欢为 。 :newspaper: 最新消息 新语言模型，PR和更多内容的最新消息！ 2020年7月2日：公开发布德国Europeana DistilBERT和ConvBERT模型。 带有更多信息的回购。 2020年1月28日：期待新的German Europeana ELECTRA Large型号，包括即将推出的德国欧式European BERT模型 :huggin