我正在尝试使用Apache Spark进行基本的Twitter情感分析。

下面的页面解释了Apache Spark中使用的Naive Bayes函数，这可能是解决上述问题的一个候选方案。http://spark.apache.org/docs/1.0.0/mllib-naive-bayes.html

当你查看Java示例时，训练集和测试集的给出方式如下：

JavaRDD<LabeledPoint> training = ... // 训练集JavaRDD<LabeledPoint> test = ... // 测试集

我不知道它们是什么数据类型，但我能理解它们是一些非英语输入。

我有一组推文，例如：

“我爱我的国家。”
“在办公室度过了美好的一天。”
“Google Chrome很烂！”

我如何使用Naive Bayes函数来处理这些文本？

任何见解都会有所帮助。

回答：

LabeledPoint 的格式为 (double, Vectors(double[]))，其中第一个参数是标签，第二个参数是特征的向量（仅为非负实数）。但在你的情况下，这不匹配。这意味着你需要找到一种方法将你的数据转换为实数。TFIDF似乎是一种方法。你可能有兴趣阅读这个示例以获得更好的理解。