我在使用20个新闻组数据集。基本上，我有一个文件夹和n个文本文件。文件夹中的文件属于该文件夹命名的主题。我有20个这样的文件夹。我如何将所有这些数据加载到Spark中并创建一个RDD，以便我可以对它们应用机器学习转换和操作？（例如：像朴素贝叶斯）。我正在寻找创建RDD的方法。不是关于如何应用算法的帮助。

回答：

您可以使用SparkContext.wholeTextFiles(…)。它会读取一个目录并为该目录内的所有文件创建RDD。