bert中的升维3072，能更好的分离特征。 bert中最后对一维卷积进行池化，好处在于增加了模型的泛化能力，不同的池化方式(平均值、最大值）会带来不同的结果。 一维数据进行池化，利用padding=“SAME”，不会改变尺寸。 https://blog.csdn.net/Tourior/article/details/79544326 logits = self.l0(out) start_logits, end_logits = logits.split(1, dim=-1) logit

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者：Xu LIANG 编译：ronghuaiyang 导读 理解XLNet中的双流自注意力机制。 在我之前的文章什么是XLNet，它为什么比BERT效果好？中，我主要讨论了XLNet (AR语言模型)和BERT (AE语言模型)之间的区别以及重排列语言建模。 我相信对XLNet有一个直观的理解远比实现细节重要，所以我只解释了重排列语言建模，而没有提到另一个重要的部分，双流自注意力架构。但正如陈家明在评论中提到的，双流自注意力是XL

语言 执照 日本人 麻省理工学院 日本DistilBERT预训练模型 一个日语DistilBERT预训练模型，该模型在上进行了训练。 找到日语的快速入门指南。 目录 介绍 DistilBERT是基于Bert架构的小型，快速，便宜且轻便的Transformer模型。 与GLUE语言理解基准相比，它的参数比基于BERT的参数少40％，运行速度提高60％，同时保留BERT的97％的性能。 此模型从在AWS p3dn.24xlarge实例上使用官方的Hugging Face实施进行了2周的培训。

Google的bert提出的有关语言理解的想法：训练TextCNN 目录 1.引言 2.性能 3.用法 4.样本数据，数据格式 5.对用户的建议 6.BERT的简短描述 7.作者对BERT的详细描述 8，预训练语言理解任务 9，环境 10.实施细节 11，更好地理解变压器和BERT的问题 12，玩具任务 13.多标签分类任务 14.TODO列表 15，结论 16，参考文献 介绍 预训练就是您所需要的！ BERT最近在10多个nlp任务上取得了最新的技术成果。 这是用于语言理解的深度双向变压器

介绍 XLNet是一种基于新型广义置换语言建模目标的新型无监督语言表示学习方法。 此外，XLNet使用作为主干模型，在涉及长上下文的语言任务中表现出出色的性能。 总体而言，XLNet在各种下游语言任务（包括问题回答，自然语言推断，情感分析和文档排名）上均获得了最新的（SOTA）结果。 有关技术细节和实验结果的详细说明，请参阅我们的论文： 杨志林*，戴子行*，杨一鸣，Jaime Carbonell，Ruslan Salakhutdinov，Quoc V.Le （*：均等） 预印本2019 发行说