大规模机器学习 – 使用Python还是Java?

我目前正在进行一个项目,涉及到爬取和处理大量数据(数百GB),以及从中提取结构化数据、命名实体识别、去重、分类等工作。

我熟悉Java和Python世界中的机器学习工具:Lingpipe、Mahout、NLTK等。然而,当涉及到为这样的大规模问题选择平台时,我缺乏足够的经验来决定使用Java还是Python。

我知道这个问题听起来有些模糊,但我正在寻找关于选择Java或Python的总体建议。JVM在性能上(?)优于Python,但像Lingpipe等库是否能与Python生态系统相媲美?如果我选择Python,扩展和在多台机器上管理它会多么容易?

我应该选择哪一个,为什么?


回答:

Apache正在强势推出像Lucene/Solr/Nutch这样的搜索工具、Mahout用于大数据机器学习、Hadoop用于Map Reduce、OpenNLP用于自然语言处理,以及许多NoSQL工具。最棒的是大写的“I”,代表集成,这些产品可以很好地相互集成,当然在大多数情况下它们(这些产品)是互补的。

Python也很棒,但是如果你考虑到来自Apache软件基金会的上述产品,我会像@[人名]一样选择Java。Python对于上述产品总是可用的,但大多是作为附加组件而不是核心内容。例如,你可以通过使用Streaming等方式在Python中使用Hadoop。

我部分地从C++转向Java,以便利用一些非常流行的Apache产品,如Lucene、Solr和OpenNLP,以及其他流行的开源NoSQL Java产品,如Neo4j和OrientDB。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注