我正在尝试使用一个简单的数据集运行逻辑回归，以便理解pyspark的语法。我的数据有11列，前10列是特征，最后一列（第11列）是标签。我希望将这10列作为特征传递，第11列作为标签。但我只知道如何使用featuresCol="col_header_name"将单列作为特征传递。我已经使用pandas从csv文件中读取数据，但将其转换成了RDD。以下是代码：

from pyspark.ml.classification import LogisticRegressionfrom pyspark.sql import SQLContextfrom pyspark import SparkContextimport pandas as pddata = pd.read_csv('abc.csv')sc = SparkContext("local", "App Name")sql = SQLContext(sc)spDF = sql.createDataFrame(data)tri=LogisticRegression(maxIter=10,regParam=0.01,featuresCol="single_column",labelCol="label")lr_model = tri.fit(spDF)

如果我使用featuresCol=[list_of_header_names]，我会得到错误。我之前使用过sk-learn，它的语法非常简单，如下所示：

reg=LogisticRegression()reg=reg.fit(Dataframe_of_features,Label_array)

回答：

您需要使用Vector Assembler将所有列组合成一个特征数组。

from pyspark.ml.linalg import Vectorsfrom pyspark.ml.feature import VectorAssemblerassembler = VectorAssembler(inputCols=[list_of_header_names],outputCol="features")spDF = assembler.transform(spDF)

然后，您可以将所有变量组装成的数组作为输入传递给逻辑回归。

tri=LogisticRegression(maxIter=10,                       regParam=0.01,                       featuresCol="features",                       labelCol="label")lr_model = tri.fit(spDF)