我正在使用Google的AI Platform进行一些实验，并有一些相关问题。

我的项目按照文档的结构设置，有一个训练任务和一个单独的批量预测任务。我想了解AI Platform是如何为我执行的任务分配资源的。与当前的SOTA解决方案如Spark、Tensorflow和Pytorch相比，我的疑问就产生了。

这些引擎/库都有分布式工作者和专门的协调系统，并且所有机器学习算法都有单独的分布式实现。由于我的任务是使用ScikitLearn编写的，既然sklearn没有这样的分布式计算能力，AI Platform如何在其提供的集群上并行化这些计算呢？

按照这里的文档。我使用的命令是，

gcloud ai-platform jobs submit training $JOB_NAME \  --job-dir $JOB_DIR \  --package-path $TRAINING_PACKAGE_PATH \  --module-name $MAIN_TRAINER_MODULE \  --region $REGION \  --runtime-version=$RUNTIME_VERSION \  --python-version=$PYTHON_VERSION \  --scale-tier $SCALE_TIER

任何帮助/澄清都将不胜感激！

回答：

遗憾的是，AI Platform Training无法自动分配你的scikit-learn任务。它基本上只是设置集群，将你的包部署到每个节点，然后运行它。

你可能想要尝试使用像Dask这样的分布式后端来扩展任务——它有一个可替代Joblib的模块，可以在集群上运行scikit-learn管道。

我找到了一篇教程在这里：https://matthewrocklin.com/blog/work/2017/02/07/dask-sklearn-simple

希望这对你有帮助！