我目前正在尝试使用Tensorflow网络实现多GPU训练。一种解决方案是每个GPU运行一个模型，每个模型都有自己的数据批次，并在每次训练迭代后合并它们的权重。换句话说，这就是“数据并行”。

例如，如果我使用2个GPU，并行训练，然后合并它们的权重，那么与在一个GPU上按顺序训练这两个数据批次相比，结果权重应该有所不同吧？因为两个GPU有相同的输入权重，而单个GPU对第二个批次的权重进行了修改。

这种差异只是微小的，因此在多次迭代后的最终结果中并不重要吗？

回答：

输入训练的批次顺序确实会有一些影响。但如果你有大量批次，这种差异可能会很小。每个批次都会将模型中的变量稍微拉向损失的最小值。不同的顺序可能会使通向最小值的路径略有不同。但只要损失在减少，模型就在训练中，其评估结果会越来越好。

有时，为了避免相同的批次“拉”模型在一起，并且避免模型只对某些输入数据过于优秀，每个模型副本的输入会在输入训练程序之前随机打乱。