我刚刚开始学习Spark和Spark ML，我发现它比Python和sklearn要难得多。
开发时间要长得多，所以我在想是否可行创建一个通用的流程，可以处理任何（足够小）的数据集并训练随机森林分类器。理想情况下，我会创建一个类似于下面的函数：
def trainClassifier(df: DataFrame, labelColumn: String) { ...}在Spark中，开发时间的大部分都花在将列编码为数值列，然后将特征组成一个向量上，这样Spark ML的随机森林才能实际使用它。因此，人们最终会编写类似于下面的代码行：
val indexer = new StringIndexer() .setInputCol("category") .setOutputCol("categoryIndex") .fit(df)val indexed = indexer.transform(df)val encoder = new OneHotEncoder() .setInputCol("categoryIndex") .setOutputCol("categoryVec")val encoded = encoder.transform(indexed)所以我的问题更像是一个设计问题（如果合适，请指引我到其他网站），关于如何编写一个通用的分类训练函数，可以处理任何DataFrame，但这也是一个关于Spark的问题，因为我在问这种事情在Spark中是否可行（所以这有点像是一个API问题，因此更适合stackoverflow）？
编辑：我的意思是我不想为每个新的DataFrame指定列并手动转换列。我想要一个trainClassifier函数，它可以接受具有不同列和不同列类型的各种DataFrame。某种可以遍历除labelColumn之外的所有列，并将它们编译成分类器可以使用的特征向量的函数。
回答：
您可以创建自定义的Pipeline：
val start = "category"; // 可以是方法或函数的参数val indexer = new StringIndexer() .setInputCol(start ) .setOutputCol(start + "Index") .fit(df)val encoder = new OneHotEncoder() .setInputCol(encoder.outputCol) .setOutputCol(start + "encoded") 这些步骤可以放在一个返回Array[Stage]的函数中 – Array(indexer, encoder)。现在，您可以像这里那样编写一些函数来连接所有数组并创建Pipeline：
val randomForest = ... val pipeline = new Pipeline() .setStages(allStepsArray(indexer , encoder , randomForest))然后您可以在Pipeline上调用fit，或者甚至像链接中那样构建CrossValidator：
val model = pipeline.fit(testData)