我正在尝试在 Iris 数据集上训练一个 SVM 模型。目标是将 Iris virginica 花朵与其他类型的花朵区分开来。以下是代码:
import numpy as npfrom sklearn import datasetsfrom sklearn.pipeline import Pipelinefrom sklearn.preprocessing import StandardScalerfrom sklearn.svm import LinearSVCiris = datasets.load_iris()X = iris["data"][:, (2,3)] # 花瓣长度,花瓣宽度y = (iris["target"]==2).astype(np.float64) # Iris virginicasvm_clf = Pipeline([ ("scaler", StandardScaler()), ("linear_svc", LinearSVC(C=1, loss="hinge", dual=False))])svm_clf.fit(X,y)
我的书,Aurelien Geron 的《Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow》第2版,第156页提到:
为了获得更好的性能,你应该将
dual
超参数设置为False
,除非特征数多于训练实例数
但如果我将dual
超参数设置为 False,我会得到以下错误:
ValueError: Unsupported set of arguments: The combination of penalty='l2' and loss='hinge' are not supported when dual=False, Parameters: penalty='l2', loss='hinge', dual=False
相反,如果我将dual
超参数设置为 True,它就能正常工作。
为什么这组超参数不被支持?
回答:
L2 SVM 与 L1 损失(hinge)不能以原始形式求解。只有其对偶形式可以有效地求解。这是由于 sklearn 使用的LIBLINEAR库的限制。如果你想求解 L2 SVM 的原始形式,你将不得不使用 L2 损失(平方 hinge)来代替。
LinearSVC(C=1, loss='squared_hinge', dual=False).fit(X,y)
更多详情请见:链接1