在数据并行训练中，我认为GPU实例对于参数服务器来说不一定高效，因为参数服务器仅存储数值而不进行任何计算，如矩阵乘法。

因此，我认为下面的Cloud ML Engine的示例配置（参数服务器使用CPU，其他使用GPU）具有良好的性价比：

trainingInput:  scaleTier: CUSTOM  masterType: standard_gpu  workerType: standard_gpu  parameterServerType: standard_cpu  workerCount: 3  parameterServerCount: 4

这是正确的吗？

回答：

你的假设是一个合理的经验法则。不过，Parag 提到了一篇论文，描述了一种能够在参数服务器上利用GPU的模型，因此，并非总是参数服务器无法利用GPU的情况。

一般来说，你可以短时间尝试两种方法，看看是否能提高吞吐量。

如果你想知道哪些操作实际上被分配给了参数服务器，你可以记录设备放置。如果看起来有可以从GPU中受益的操作在参数服务器上（并且假设它们确实应该在那里），那么你可以尝试在参数服务器上使用GPU。