标题: scikit-learn是否执行“真正的”多元回归(多个因变量)?

我想使用多个预测变量来预测多个因变量。如果我理解正确的话,原则上可以制作一系列线性回归模型,每个模型预测一个因变量,但如果因变量之间存在相关性,使用多元回归会更合理。我想做后者,但我不确定如何操作。

到目前为止,我还没有找到一个专门支持这种操作的Python包。我尝试过scikit-learn,尽管他们的线性回归模型示例只展示了y为数组的情况(每个观测值有一个因变量),但它似乎能够处理多个y。然而,当我将这种“多元”方法的输出与我通过手动循环每个因变量并独立预测它们的结果进行比较时,结果完全相同。我认为不应该这样,因为一些因变量之间存在强烈的相关性(>0.5)。

代码看起来像这样,其中y可以是n x 1矩阵或n x m矩阵,xnewx是各种大小的矩阵(x的行数等于n)。

ols = linear_model.LinearRegression()ols.fit(x,y)ols.predict(newx)

这个函数实际上执行多元回归吗?


回答:

这是一个数学/统计学问题,但我还是会在这里尝试回答。

你看到的结果完全是预期之内的。像这样的线性模型不会考虑因变量之间的相关性。

如果你只有一个因变量,你的模型基本上由一个权重向量组成

w_0  w_1  ...  w_n,

其中n是特征的数量。对于m个因变量,你反而有一个权重矩阵

w_10  w_11  ...  w_1nw_20  w_21  ...  w_2n....             ....w_m0  w_m1  ...  w_mn

但是不同输出变量(1, …, m)的权重是完全独立的,由于总平方误差的总和分解为每个输出变量的平方误差之和,因此最小化总损失的平方与为每个输出变量设置一个单变量线性模型并独立最小化它们的平方损失是完全相同的。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注