字节PS BytePS是一种高性能的通用分布式培训框架。 它支持TensorFlow，Keras，PyTorch和MXNet，并且可以在TCP或RDMA网络上运行。 BytePS在很大程度上优于现有的开源分布式培训框架。 例如，在进行BERT大型训练时，BytePS可以使用256个GPU（参见下文）实现约90％的缩放效率，这比 + 高得多。 在某些情况下，与Horovod + NCCL相比，BytePS可使训练速度提高一倍。 新闻 已被OSDI'20接受。 提供重现端到端评估的代码。 支持