CTranslate2 CTranslate2是适用于支持CPU和GPU执行的和模型的快速推理引擎。 目标是提供全面的推理功能，并成为部署标准神经机器翻译系统（例如Transformer模型）的最有效和最具成本效益的解决方案。 该项目以生产为导向，具有，但它还包括与模型压缩和推理加速有关的实验功能。 目录 主要特点 在CPU和GPU上快速高效地执行支持的模型和任务的通用深度学习框架相比，执行。 量化和降低精度模型序列化和计算以较低的精度支持权重：16位浮点（FP16），16位整数和8位整