scikit learn: 弹性网络接近岭回归

弹性网络应该被视为岭回归(L2正则化)和套索回归(L1正则化)之间的混合体。然而,即使l1_ratio设置为0,我得到的结果与岭回归不同。我知道岭回归使用梯度下降法,而弹性网络使用坐标下降法,但最优解应该是相同的,对吗?此外,我发现弹性网络经常无故抛出ConvergenceWarnings,而套索回归和岭回归则不会。以下是一个代码片段:

from sklearn.datasets import load_bostonfrom sklearn.utils import shufflefrom sklearn.linear_model import ElasticNet, Ridge, Lassofrom sklearn.model_selection import train_test_splitdata = load_boston()X, y = shuffle(data.data, data.target, random_state=42)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=43)alpha = 1en = ElasticNet(alpha=alpha, l1_ratio=0)en.fit(X_train, y_train)print('en train score: ', en.score(X_train, y_train))rr = Ridge(alpha=alpha)rr.fit(X_train, y_train)print('rr train score: ', rr.score(X_train, y_train))lr = Lasso(alpha=alpha)lr.fit(X_train, y_train)print('lr train score: ', lr.score(X_train, y_train))print('---')print('en test score: ', en.score(X_test, y_test))print('rr test score: ', rr.score(X_test, y_test))print('lr test score: ', lr.score(X_test, y_test))print('---')print('en coef: ', en.coef_)print('rr coef: ', rr.coef_)print('lr coef: ', lr.coef_)

尽管l1_ratio设置为0,弹性网络的训练和测试得分却接近于套索回归的得分(而不是你期望的岭回归)。此外,即使我增加max_iter(即使增加到1000000也没有效果)和tol(0.1仍然会抛出错误,但0.2不会),弹性网络似乎仍然会抛出ConvergenceWarning。增加alpha(如警告所建议的)也没有效果。


回答:

请阅读文档。然后你会发现这些方法都没有使用梯度下降法,更重要的是:

岭回归

enter image description here

enter image description here

弹性网络

enter image description hereenter image description here

当代入a=1, p=0时,显示了以下信息:

  • 弹性网络在损失函数上比岭回归多了一个依赖于样本的因子
  • 弹性网络在l2项中多了一个1/2的因子

为什么模型不同?可能是因为sklearn遵循了基于R的原始实现glmnet

此外,当我强制使用非混合范数如l1=0时,在进行混合范数优化时出现数值问题,我不会感到惊讶,特别是当有专门的求解器用于这两种非混合优化问题时。

幸运的是,sklearn甚至对此有所说明

目前,l1_ratio <= 0.01 的可靠性不高,除非你提供自己的alpha序列。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注