在这次演讲中，我将谈谈语言预训练和语言生成方面的最新进展。关于语言预训练，我将介绍ELECTRA，我们不同的语言预训练学习比BERT更有效和达到的状态，在斯坦福问题回答基准(队)。在语言生成方面，我将重点介绍我们最近开发的开放域聊天机器人Meena，它在名为SSA的人类相似性度量上达到了最佳水平。