我目前正在运行一个简单的脚本来训练mnist数据集。
通过Tensorflow在我的CPU上运行训练，得到的结果是49us/sample，使用3个epoch，使用的代码如下:-
# CPUimport tensorflow as tfmnist = tf.keras.datasets.mnist(x_train, y_train), (x_test, y_test) = mnist.load_data()x_train = tf.keras.utils.normalize(x_train, axis=1)x_test = tf.keras.utils.normalize(x_test, axis=1)model = tf.keras.models.Sequential()model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(128, activation=tf.nn.relu))model.add(tf.keras.layers.Dense(128, activation=tf.nn.relu))model.add(tf.keras.layers.Dense(10, activation=tf.nn.softmax))model.compile(optimizer='adam', loss="sparse_categorical_crossentropy", metrics=["accuracy"])model.fit(x_train, y_train, epochs=3)当我通过opencl_amd_radeon_pro_580_compute_engine在我的AMD Pro 580上通过plaidml设置运行数据集时，得到的结果是249us/sample，一个epoch需要15秒，使用以下代码:-
# GPUimport plaidml.kerasplaidml.keras.install_backend()import kerasfrom keras.datasets import mnist(x_train, y_train), (x_test, y_test) = mnist.load_data()x_train = keras.utils.normalize(x_train, axis=1)x_test = keras.utils.normalize(x_test, axis=1)model = keras.models.Sequential()model.add(keras.layers.Flatten())model.add(keras.layers.Dense(128, activation='relu'))model.add(keras.layers.Dense(128, activation='relu'))model.add(keras.layers.Dense(10, activation='softmax'))model.compile(optimizer='adam', loss="sparse_categorical_crossentropy", metrics=["accuracy"])model.fit(x_train, y_train, epochs=3)我可以看到我的CPU在CPU测试中启动，我的GPU在GPU测试中全速运行，但我非常困惑为什么CPU的性能比GPU高出5倍。
这应该是预期的结果吗？
我的代码有什么问题吗？
回答：
我认为观察到的现象有两个方面:
- 根据我的经验，plaidml表现得并不好，遗憾的是我也有类似的结果。
- 将数据传输到GPU是缓慢的。在这种情况下，MNIST数据非常小，将数据传输到GPU所需的时间超过了并行计算带来的“好处”。实际上，TensorFlow的CPU版本可能也在进行并行矩阵乘法，但由于数据较小且更接近处理单元，速度要快得多。
