文件名称:
fastmoe:PyTorch的快速MoE提示-源码
开发工具:
文件大小: 396kb
下载次数: 0
上传时间: 2021-03-07
详细说明：||
介绍
一个易于使用且高效的系统，可支持PyTorch的专家混合（MoE）模型。
安装
先决条件
带有CUDA的PyTorch是必需的。 该存储库目前已通过PyTorch v1.8.0和CUDA 10进行了测试，并具有对较早版本的设计兼容性。
如果启用了分布式专家功能，则需要具有P2P通信支持的NCCL，通常版本>=2.7.5 。
正在安装
FastMoE包含一组PyTorch定制的运算符，包括C和Python组件。 使用python setup.py install可以轻松安装并享受使用FastMoE进行培训的乐趣。
分布式专家功能默认情况下处于禁用状态。 如果要启用它， USE_NCCL=1环境变量USE_NCCL=1传递给安装脚本。
请注意，需要一个额外的NCCL开发人员程序包，该程序包必须与您的PyTorch的NCCL版本一致，可以通过运行torch.cuda.nccl.
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
