© 1999-2048 dssz.net 粤ICP备11031372号
[其它] fastmoe:PyTorch的快速MoE提示-源码
说明:|| 介绍 一个易于使用且高效的系统,可支持PyTorch的专家混合(MoE)模型。 安装 先决条件 带有CUDA的PyTorch是必需的。 该存储库目前已通过PyTorch v1.8.0和CUDA 10进行了测试,并具有对较早版本的设计兼容性。 如果启用了分布式专家功能,则需要具有P2P通信支持的NCCL,通常版本>=2.7.5 。 正在安装 FastMoE包含一组PyTorch定制的运算符,包括C和Python组件。 使用python setup.py install可以轻松安装并享<weixin_42098104> 上传 | 大小:396kb