文件名称:
REALM Retrieval-Augmented Language Model Pre-Training 翻译.pdf
开发工具:
文件大小: 727kb
下载次数: 0
上传时间: 2020-02-18
详细说明：语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题
解答)至关重要。但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能
覆盖更多的事实。
为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模
型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如
Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信
号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知
识检索器进行预训练。
我们通过微调开放域问答(Open-QA)的挑战性任务，证明了检索增强语言模型预训练
(REALM)的有效性。我们在三个流行的Open-QA基准测试中与最先进(SOTA)的显式和隐
式知识存储模型进行了比较，发现我们在性能上优于所有以前的方法(绝对精度为
4-16％)，同时还提供了定性优势，例如可解释性和模块化。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
