文件名称:
spacy-extreme:如何将spaCy用于超大文件而不遇到内存问题的示例-源码
开发工具:
文件大小: 8kb
下载次数: 0
上传时间: 2021-03-16
详细说明：Spacy-极端
如何将spaCy用于超大文件而不遇到内存问题的示例
spaCy的内存问题
编辑： 中修复了运行spaCy管道的内存问题。 不过，我将使该存储库保持在线状态，作为有关如何有效地分块数据的教育性代码段。 本节的其余部分可以忽略。
SpaCy是一种流行的，功能强大的NLP工具，可以处理文本并从中获取您可能需要的几乎所有信息。 不幸的是，在对30GB以上的单个文件进行多处理时，我开始遇到问题：内存使用量一直在增长。 即使使用，问题仍然存在。 “错误修复”不可用，因为尚不清楚内存泄漏的位置。 有人希望问题出在spaCy本身，但这意味着重新加载spaCy实例应该释放该内存。 但是事实。 那么，很难找到解决办法-因为不清楚从哪里开始寻找。
因此，我认为必须有另一种方法。 解决方案位于multiprocessing库中，更具体地说，位于的参数之一中。 maxtasksperchild
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
