我们公司正在寻找并行计算解决方案，最终选择了DASK。我需要将其部署到虚拟私有云中，但它是开源的，我之前没有这方面的经验。谁能指导一下如何在VPC上设置它？

回答：

我建议从最简单的部署开始——在Amazon或Azure上获取一个大服务器，安装Anaconda Python发行版，然后启动dask（和jupyter）。如果你的数据科学家在这个服务器上使用Jupyter，他们可以直接执行

from dask.distributed import Clientclient = Client()

这将在该机器上启动一个LocalCluster。

如果你想从另一台机器访问dask集群，你只需启动几个进程

启动调度器：

$ dask-schedulerScheduler started at 127.0.0.1:8786

然后启动几个工作节点（理想情况下，每个核心一个）

$ dask-worker 127.0.0.1:8786$ dask-worker 127.0.0.1:8786$ dask-worker 127.0.0.1:8786

然后你可以通过ssh隧道将8786端口暴露给外部世界

还有许多更复杂的设置——在k8s上运行，或者在弹性容器服务上运行，但你是否需要这些，真的取决于你的使用场景。

Saturn Cloud在AWS市场上有一个企业级Dask产品，可以为你进行更复杂的k8s部署。（免责声明：我是创始人之一）