使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。
Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, targeting 10,000s in the near future.
Aims at covering all communication needs for
1. keras新版本中加入多GPU并行使用的函数
下面程序段即可实现一个或多个GPU加速：
注意：使用多GPU加速时，Keras版本必须是Keras2.0.9以上版本
from keras.utils.training_utils import multi_gpu_model #导入keras多GPU函数
import VGG19 #导入已经写好的函数模型，例如VGG19
if G <= 1:
print("[INFO] training with 1 GPU...")
tensorflow下设置使用某一块GPU（从0开始编号）：
import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "1"
多GPU：
num_gpus = 4
for i in range(num_gpus):
with tf.device('/gpu:%d',%i):
。。。
只是用cpu的情况
with tf.device("/cpu:0
Diffusion Low-Field MRI Monte Carlo (DMMC)
Simulations on Multi-GPU Systems
介绍
DMMC模拟背后的一般思想在我的荣誉论文中得到了解释（请参阅文件 ） 。 这项工作已在2-3个科学出版物中使用，并由Michael Honke在此处进行了扩展： : 请在此处查看有关算法的解释以及对底层后端的更深入分析（尤其是在附录中）。 该多GPU代码支持具有多个具有不同D，T2，T1和P以及任何常规磁场序列（即，包含振荡RF场，伴随
