我使用相同的配置、TensorFlow和模型版本，以及相同（自定义）的数据集，训练了一个对象检测API模型（来自Zoo的Mask RCNN与COCO / Inception v2），训练步数也相同。

在本地机器上（使用1080 TI的tensorflow-gpu），我使用了object_detection/train.py，而在云端，我使用了google ml-engine作业调用object_detection.train模块。两者都使用了相同的学习率。

云端运行使用了5个工作节点，而本地只有1个GPU。它们都被设置为批量大小为1。

为什么本地训练的模型表现得远不如云端训练的模型准确？本地训练的模型往往有明显更多的误报情况，与云端训练的模型相比。

更重要的是，我该如何做才能让本地机器上的训练达到与云端相当的水平？

回答：

看起来你在云端使用了5个工作节点，而本地只使用了一个GPU？那么，批量大小是不同的。

有效批量大小是你命令行设置的批量大小除以工作节点的数量。看起来较低的批量大小对你的模型效果很好。所以，要提高本地训练的准确性，将批量大小减少到原来的五分之一。

另外，如果差异如此显著，以至于你能明显看出云端模型更好，那么或许你应该进行超参数调优来找到更好的参数。在BASIC_GPU设置下进行，这样云端的相同设置在本地也能工作。