文件名称:
CTranslate2：适用于OpenNMT模型的快速推理引擎-源码
开发工具:
文件大小: 2mb
下载次数: 0
上传时间: 2021-01-30
详细说明：CTranslate2
CTranslate2是适用于支持CPU和GPU执行的和模型的快速推理引擎。 目标是提供全面的推理功能，并成为部署标准神经机器翻译系统（例如Transformer模型）的最有效和最具成本效益的解决方案。
该项目以生产为导向，具有，但它还包括与模型压缩和推理加速有关的实验功能。
目录
主要特点
在CPU和GPU上快速高效地执行支持的模型和任务的通用深度学习框架相比，执行。
量化和降低精度模型序列化和计算以较低的精度支持权重：16位浮点（FP16），16位整数和8位整数。
多种CPU架构支持该项目支持x86-64和ARM64处理器，并集成了针对这些平台进行了优化的多个后端： ， ， 和 。
自动CPU检测和代码分配一个二进制文件可以包含多个后端（例如Intel MKL和oneDNN）和指令集体系结构（例如AVX，AVX2），它们会在运行时根据CPU信息自动选择。
平行翻译可以使用多个GPU或CPU内核并行高效地运行翻译。
动态内存使用由于在CPU和GPU上都缓存了分配器，因此内存使用量会根据请求大小动态变化，同时仍能满足性能要求。
轻巧的磁盘可
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
