tensorflow官方文档之卷积神经网络的cifar10所有代码——包含了cifar10_multi_gpu_train.py，以及使用说明

文件 作用 cifar10_input.py 读取本地CIFAR-10的二进制文件格式的内容。 cifar10.py 建立CIFAR-10的模型。 cifar10_train.py 在CPU或GPU上训练CIFAR-10的模型。 cifar10_multi_gpu_train.py 在多GPU上训练CIFAR-10的模型。 cifar10_eval.py

TensorFlow多GPU训练官方示例，绝壁不是草泥马写个CUDA_VISIBLE_DEVICES就可以解决的事情。整体思路关键是求变量在各个GPU上的梯度平均值，然后用梯度平均值去更新变量。

Tebsorflow开源实现多GPU训练cifar10数据集：cifar10_multi_gpu_train.py Tensorflow开源实现cifar10神经网络：cifar10.py Tensorflow中的并行分为模型并行和数据并行。模型并行需要根据不同模型设计不同的并行方式，其主要原理是将模型中不同计算节点放在不同硬件资源上运算。比较通用且能简便地实现大规模并行的方式是数据并行，同时使用多个硬件资源来计算不同batch的数据梯度，然后汇总梯度进行全局更新。 数据并行几乎适用于所有深度学