我正在进行一项TREC任务，涉及使用机器学习技术，数据集包含超过5TB的网络文档，计划从中提取词袋向量。scikit-learn有一套功能齐全的工具，似乎能满足我的需求，但我不知道它是否能很好地扩展以处理大数据。例如，HashingVectorizer是否能够处理5TB的文档，并且是否可以并行化它？此外，还有哪些适合大规模机器学习任务的替代方案？

回答：

如果您将数据分批处理，每批包含10,000或100,000个文档，并确保这些文档能在内存中处理，那么HashingVectorizer是可以工作的。

然后，您可以将转换后的文档批次传递给支持partial_fit方法的线性分类器（例如SGDClassifier或PassiveAggressiveClassifier），然后继续处理新的批次。

您可以在处理过程中开始在保留的验证集上（例如10,000个文档）评分模型，以监控部分训练模型的准确性，而无需等待查看所有样本。

您还可以在多台机器上并行处理数据的不同分区，然后平均coef_和intercept_属性，以获得整个数据集的最终线性模型。

我在2013年3月在PyData的演讲中讨论了这个话题：http://vimeo.com/63269736

此外，在这个使用IPython.parallel并行化scikit-learn的教程中也有示例代码，来自：https://github.com/ogrisel/parallel_ml_tutorial