意外的Spark多项式逻辑回归系数

我在Mac上运行Spark 2.1.1,操作系统是Sierra(如果这有帮助的话)。我尝试在一个在线找到的测试数据集上拟合一个多项式逻辑回归模型,这里我报告了前几行(我不知道如何在这里附件文件):

1,0,241,0,261,0,261,1,271,1,273,1,27

第一列是标签(’brand’,值为:1, 2, 3),第二列和第三列是特征(’sex’和’age’)。

由于标签有3个类别,多项式逻辑回归应该执行3个二项模型,然后从中选择最大化该类别概率的预测。因此,我期望模型返回一个3×2的系数矩阵:3是因为类别有3个,2是因为特征有2个。这个文档似乎与这一观点一致。

但是,出乎意料的是…

>>> logit_model.coefficientMatrixDenseMatrix(4, 2, [-1.2781, -2.8523, 0.0961, 0.5994, 0.6199, 0.9676, 0.5621, 1.2853], 1)>>> logit_model.interceptVectorDenseVector([-4.5912, 13.0291, 1.2544, -9.6923])

系数矩阵是4×2的,我有4个截距而不是3个。更奇怪的是这个:

>>> logit_model.numClasses4

由于某种奇怪的原因,模型“感觉”有4个类别,即使我只有3个(请查看下面的代码以进行检查)。

有什么建议吗?非常感谢。


这是完整的代码:

from pyspark.sql import functions as ffrom pyspark.sql import types as tfrom pyspark.ml import classification as clfrom pyspark.ml import feature as featcustomSchema = t.StructType(    [t.StructField('brand', t.IntegerType(), True),    t.StructField('sex', t.IntegerType(), True),    t.StructField('age', t.IntegerType(), True)])test_df01 = (    spark    .read    .format('csv')    .options(delimiter=',', header=False)    .load('/Users/vanni/Downloads/mlogit_test.csv', schema=customSchema))va = (    feat.VectorAssembler()    .setInputCols(['sex', 'age'])    .setOutputCol('features'))test_df03 = (    va    .transform(test_df01)    .drop('sex')    .drop('age')    .withColumnRenamed('brand', 'label'))logit_abst = (    cl.LogisticRegression()    .setFamily('multinomial')    .setStandardization(False)    .setThresholds([.5, .5, .5]) # 需要在知道实际值后调整    .setThreshold(None)    .setMaxIter(100) # 默认值    .setRegParam(0.0) # 默认值    .setElasticNetParam(0.0) # 默认值    .setTol(1e-6) # 默认值)logit_model = logit_abst.fit(test_df03)

这里是检查类别只有3个的代码:

>>> test_df03.select('label').distinct().orderBy('label').show()+-----+|label|+-----+|    1||    2||    3|+-----+

回答:

这里没有任何奇怪的事情发生。Spark假设标签是连续的整数值,以DoubleType表示,并且从0开始。

由于你得到的最大标签是3,Spark假设标签实际上是0, 1, 2, 3 – 即使数据集中从未出现0。

如果这种行为不符合你的需求,你应该重新编码标签为从0开始,或者在原始标签上应用StringIndexer

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注