如何解释Spark逻辑回归预测中的概率列?

我通过spark.ml.classification.LogisticRegressionModel.predict获取预测结果。许多行的prediction列显示为1.0,而probability列显示为.04model.getThreshold的值为0.5,所以我认为模型将概率阈值超过0.5的分类为1.0

我应该如何解释一个预测结果为1.0的prediction,而probability为0.04的情况?


回答:

执行LogisticRegression后,概率列应该包含一个与类别数量相同长度的列表,其中每个索引给出该类别的相应概率。我用两个类别做了一个小例子来说明:

case class Person(label: Double, age: Double, height: Double, weight: Double)val df = List(Person(0.0, 15, 175, 67),       Person(0.0, 30, 190, 100),       Person(1.0, 40, 155, 57),       Person(1.0, 50, 160, 56),       Person(0.0, 15, 170, 56),       Person(1.0, 80, 180, 88)).toDF()val assembler = new VectorAssembler().setInputCols(Array("age", "height", "weight"))  .setOutputCol("features")  .select("label", "features")val df2 = assembler.transform(df)df2.show+-----+------------------+|label|          features|+-----+------------------+|  0.0| [15.0,175.0,67.0]||  0.0|[30.0,190.0,100.0]||  1.0| [40.0,155.0,57.0]||  1.0| [50.0,160.0,56.0]||  0.0| [15.0,170.0,56.0]||  1.0| [80.0,180.0,88.0]|+-----+------------------+val lr = new LogisticRegression().setMaxIter(10).setRegParam(0.3).setElasticNetParam(0.8)val Array(testing, training) = df2.randomSplit(Array(0.7, 0.3))val model = lr.fit(training)val predictions = model.transform(testing)predictions.select("probability", "prediction").show(false)+----------------------------------------+----------+|probability                             |prediction|+----------------------------------------+----------+|[0.7487950501224138,0.2512049498775863] |0.0       ||[0.6458452667523259,0.35415473324767416]|0.0       ||[0.3888393314864866,0.6111606685135134] |1.0       |+----------------------------------------+----------+

这里是算法计算出的概率以及最终的预测结果。最终概率最高的类别即为预测结果。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注