我在Google机器学习平台上使用Tensorflow构建了一个模型，运行良好。现在我想使用GPU进行一些预测。我看到了这个链接，但它介绍的是使用GPU进行训练，而不是预测。在预测部分没有提到GPU的信息。

有谁知道是否可以使用Google机器学习引擎和GPU进行预测？或者如果我使用GPU进行训练，我的预测会自动使用GPU吗？

我正在使用以下命令行：

gcloud ml-engine predict --model ${MODEL_NAME} --json-instances request.json

这个命令可以工作，但它使用的是CPU。附加信息：我的模型发布在us-east1区域，并且我的规模是自动的。

回答：

我们现在支持GPU。文档在这里链接！

示例：

gcloud beta ai-platform versions create version_name \  --model model_name \  --origin gs://model-directory-uri \  --runtime-version 2.1 \  --python-version 3.7 \  --framework tensorflow \  --machine-type n1-standard-4 \  --accelerator count=1,type=nvidia-tesla-t4 \  --config config.yaml

如果你为模型版本使用Compute Engine（N1）机器类型，你可以选择性地添加GPU来加速每个预测节点。

• NVIDIA Tesla K80
• NVIDIA Tesla P4
• NVIDIA Tesla P100
• NVIDIA Tesla T4
• NVIDIA Tesla V100