我目前正在进行一个项目,涉及到爬取和处理大量数据(数百GB),以及从中提取结构化数据、命名实体识别、去重、分类等工作。
我熟悉Java和Python世界中的机器学习工具:Lingpipe、Mahout、NLTK等。然而,当涉及到为这样的大规模问题选择平台时,我缺乏足够的经验来决定使用Java还是Python。
我知道这个问题听起来有些模糊,但我正在寻找关于选择Java或Python的总体建议。JVM在性能上(?)优于Python,但像Lingpipe等库是否能与Python生态系统相媲美?如果我选择Python,扩展和在多台机器上管理它会多么容易?
我应该选择哪一个,为什么?
回答:
Apache正在强势推出像Lucene/Solr/Nutch这样的搜索工具、Mahout用于大数据机器学习、Hadoop用于Map Reduce、OpenNLP用于自然语言处理,以及许多NoSQL工具。最棒的是大写的“I”,代表集成,这些产品可以很好地相互集成,当然在大多数情况下它们(这些产品)是互补的。
Python也很棒,但是如果你考虑到来自Apache软件基金会的上述产品,我会像@[人名]一样选择Java。Python对于上述产品总是可用的,但大多是作为附加组件而不是核心内容。例如,你可以通过使用Streaming等方式在Python中使用Hadoop。
我部分地从C++转向Java,以便利用一些非常流行的Apache产品,如Lucene、Solr和OpenNLP,以及其他流行的开源NoSQL Java产品,如Neo4j和OrientDB。