我们是学生,正在处理大约1.4亿条记录的数据,并尝试运行一些机器学习算法。我们对整个云解决方案和Mahout实现都是新手。目前我们已经在PostgreSQL数据库中设置了这些数据,但当前的实现无法扩展,读/写操作在多次性能调整后似乎极其缓慢。因此,我们计划转向基于云的服务。
我们已经探索了一些可能的替代方案。
- Amazon云服务(Mahout实现)
- Picloud与scikits learn(我们计划使用HDF5格式和NumPy)
- 请推荐其他任何替代方案(如果有的话)。
以下是我们的问题
- 哪种方案能为我们带来更好的结果(周转时间)并且成本效益更高?请提及任何其他现有的替代方案。
- 如果我们设置Amazon服务,我们应该如何设置数据格式?如果我们使用DynamoDB,成本会不会大幅上升?
谢谢
回答:
PiCloud是建立在AWS之上的,所以无论哪种方式,最终你都会使用Amazon。问题在于你需要自己编写多少基础设施代码来将一切连接起来。PiCloud提供了一些免费使用额度来测试,所以你可以先尝试一下。我自己没有使用过,但显然他们试图为机器学习类型的应用提供易于部署的解决方案。
看起来这是在寻求结果,而不是要做一个云项目,所以我会考虑使用Amazon的其他服务而不是直接的EC2,或者使用其他像PiCloud或Heroku这样的软件或其他可以处理启动过程的服务。