我想使用Iris数据集,并基于GridSearchCV函数选择最佳的逻辑回归模型。
我目前的工作
import numpy as npfrom sklearn import datasetsfrom sklearn.model_selection import GridSearchCVfrom sklearn.linear_model import LogisticRegressioniris = datasets.load_iris()X = iris.data[:, :2]y = iris.target# 逻辑回归reg_log = LogisticRegression()# 惩罚项pen = ['l1', 'l2','none']# 正则化强度(从-10到10的数值)C = np.logspace(-10, 10, 100)# 这些参数的可能值parameters= dict(C=C, penalty=pen)# 基于5折交叉验证选择最佳模型Model = GridSearchCV(reg_log, parameters, cv=5)# 拟合最佳模型Best_model = Model.fit(X, y)
我遇到了很多错误。你知道我哪里做错了么?
回答:
由于你选择了不同的正则化方法,你可以在帮助页面上看到:
‘newton-cg’, ‘sag’, 和 ‘lbfgs’ 求解器仅支持L2正则化和无正则化的原始形式,‘liblinear’ 求解器支持L1和L2正则化,但仅对L2惩罚支持对偶形式。Elastic-Net正则化仅由‘ saga’ 求解器支持。
我不太确定你是否想对惩罚项=’none’ 和惩罚分数进行网格搜索。所以如果你使用 saga
并增加迭代次数:
reg_log = LogisticRegression(solver="saga",max_iter=1000)pen = ['l1', 'l2']C = [0.1,0.001]parameters= dict(C=C, penalty=pen)Model = GridSearchCV(reg_log, parameters, cv=5)Best_model = Model.fit(X, y)res = pd.DataFrame(Best_model.cv_results_)res[['param_C','param_penalty','mean_test_score']] param_C param_penalty mean_test_score0 0.1 l1 0.7533331 0.1 l2 0.8333332 0.001 l1 0.3333333 0.001 l2 0.700000
这样运行得还不错。如果你使用惩罚值时遇到更多错误,试着检查它们,确保它们不是一些极端的值。