我想知道我的脚本运行时在CPU和GPU上分别花费了多少时间 – 有办法跟踪这个吗？

我在寻找一个通用的答案，但如果这太抽象的话，一个针对这个玩具解决方案（来自Keras的multi_gpu_model示例）的答案也很好。

import tensorflow as tffrom keras.applications import Xceptionfrom keras.utils import multi_gpu_modelimport numpy as npnum_samples = 1000height = 224width = 224num_classes = 1000# 实例化基础模型（或“模板”模型）。# 我们建议在CPU设备范围内执行此操作，# 这样模型的权重就会托管在CPU内存中。# 否则它们可能会托管在GPU上，这将# 使权重共享变得复杂。with tf.device('/cpu:0'):    model = Xception(weights=None,                     input_shape=(height, width, 3),                     classes=num_classes)# 在8个GPU上复制模型。# 这假设您的机器有8个可用的GPU。parallel_model = multi_gpu_model(model, gpus=8)parallel_model.compile(loss='categorical_crossentropy',                       optimizer='rmsprop')# 生成虚拟数据。x = np.random.random((num_samples, height, width, 3))y = np.random.random((num_samples, num_classes))# 这个`fit`调用将分布在8个GPU上。# 由于批量大小为256，每个GPU将处理32个样本。parallel_model.fit(x, y, epochs=20, batch_size=256)# 通过模板模型保存模型（它共享相同的权重）：model.save('my_model.h5')

回答：

你需要做的就是将基于Chrome的timeline性能分析添加到你的Keras模型中，用于Tensorflow API的CPU/GPU双重性能分析！

以下是Tensorflow问题跟踪器中提供的示例：

https://github.com/tensorflow/tensorflow/issues/9868#issuecomment-306188267

这是Keras问题跟踪器中一个更复杂的示例：

https://github.com/keras-team/keras/issues/6606#issuecomment-380196635

最后，这是这种性能分析的输出看起来的样子：

https://towardsdatascience.com/howto-profile-tensorflow-1a49fb18073d