SVM 二元性:不支持的超参数集

我正在尝试在 Iris 数据集上训练一个 SVM 模型。目标是将 Iris virginica 花朵与其他类型的花朵区分开来。以下是代码:

import numpy as npfrom sklearn import datasetsfrom sklearn.pipeline import Pipelinefrom sklearn.preprocessing import StandardScalerfrom sklearn.svm import LinearSVCiris = datasets.load_iris()X = iris["data"][:, (2,3)] # 花瓣长度,花瓣宽度y = (iris["target"]==2).astype(np.float64) # Iris virginicasvm_clf = Pipeline([    ("scaler", StandardScaler()),    ("linear_svc", LinearSVC(C=1, loss="hinge", dual=False))])svm_clf.fit(X,y)

我的书,Aurelien Geron 的《Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow》第2版,第156页提到:

为了获得更好的性能,你应该将dual超参数设置为False,除非特征数多于训练实例数

但如果我将dual超参数设置为 False,我会得到以下错误:

ValueError: Unsupported set of arguments: The combination of penalty='l2' and loss='hinge' are not supported when dual=False, Parameters: penalty='l2', loss='hinge', dual=False

相反,如果我将dual超参数设置为 True,它就能正常工作。

为什么这组超参数不被支持?


回答:

L2 SVM 与 L1 损失(hinge)不能以原始形式求解。只有其对偶形式可以有效地求解。这是由于 sklearn 使用的LIBLINEAR库的限制。如果你想求解 L2 SVM 的原始形式,你将不得不使用 L2 损失(平方 hinge)来代替。

LinearSVC(C=1, loss='squared_hinge', dual=False).fit(X,y)

更多详情请见:链接1

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注