我使用PySpark MLlib内置的LogisticRegression类训练了一个逻辑回归模型。然而，训练完成后，无法使用该模型对其他数据框进行预测，因为出现了AttributeError: 'LogisticRegression' object has no attribute 'predictProbability'或AttributeError: 'LogisticRegression' object has no attribute 'predict'的错误。
from pyspark.ml.classification import LogisticRegressionmodel = LogisticRegression(regParam=0.5, elasticNetParam=1.0)# 定义输入特征与输出列model.setFeaturesCol('features')model.setLabelCol('WinA')model.fit(df_train)model.setPredictionCol('WinA')model.predictProbability(df_val['features'])model.predict(df_val['features'])AttributeError: 'LogisticRegression' object has no attribute 'predictProbability'属性:
PySpark版本:
>>import pyspark>>pyspark.__version__3.1.2JDK版本:
>>!java -versionopenjdk version "11.0.11" 2021-04-20OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.18.04)OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.18.04, mixed mode, sharing)环境: Google Colab
回答：
此处放置您的代码
model.fit(df_train)实际上并没有给您一个训练好的模型，因为变量model的类型仍然是pyspark.ml.classification.LogisticRegression类
type(model)# pyspark.ml.classification.LogisticRegression因此，您应该通过将返回的对象赋值给一个变量或覆盖您的model变量，这样它会给您一个训练好的逻辑回归模型，类型为pyspark.ml.classification.LogisticRegressionModel类
model = model.fit(df_train)type(model)# pyspark.ml.classification.LogisticRegressionModel最后，.predict和.predictProbability方法需要一个pyspark.ml.linalg.DenseVector对象作为参数。所以，我认为您应该使用.transform方法，因为它会将预测的标签和概率作为列添加到输入数据框中。示例如下:
predicted_df = model.transform(df_val)