大规模机器学习 – 使用Python还是Java?

我目前正在进行一个项目,涉及到爬取和处理大量数据(数百GB),以及从中提取结构化数据、命名实体识别、去重、分类等工作。

我熟悉Java和Python世界中的机器学习工具:Lingpipe、Mahout、NLTK等。然而,当涉及到为这样的大规模问题选择平台时,我缺乏足够的经验来决定使用Java还是Python。

我知道这个问题听起来有些模糊,但我正在寻找关于选择Java或Python的总体建议。JVM在性能上(?)优于Python,但像Lingpipe等库是否能与Python生态系统相媲美?如果我选择Python,扩展和在多台机器上管理它会多么容易?

我应该选择哪一个,为什么?


回答:

Apache正在强势推出像Lucene/Solr/Nutch这样的搜索工具、Mahout用于大数据机器学习、Hadoop用于Map Reduce、OpenNLP用于自然语言处理,以及许多NoSQL工具。最棒的是大写的“I”,代表集成,这些产品可以很好地相互集成,当然在大多数情况下它们(这些产品)是互补的。

Python也很棒,但是如果你考虑到来自Apache软件基金会的上述产品,我会像@[人名]一样选择Java。Python对于上述产品总是可用的,但大多是作为附加组件而不是核心内容。例如,你可以通过使用Streaming等方式在Python中使用Hadoop。

我部分地从C++转向Java,以便利用一些非常流行的Apache产品,如Lucene、Solr和OpenNLP,以及其他流行的开源NoSQL Java产品,如Neo4j和OrientDB。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注