我正在尝试理解如何使用sklearn Python模块中的kfolds交叉验证。
我理解的基本流程如下:
- 实例化一个模型,例如
model = LogisticRegression()
- 拟合模型,例如
model.fit(xtrain, ytrain)
- 进行预测,例如
model.predict(ytest)
- 使用例如cross val score来测试拟合模型的准确性。
让我感到困惑的是如何将sklearn的kfolds与cross val score一起使用。据我所知,cross_val_score函数会拟合模型并在kfolds上进行预测,为每个折叠提供一个准确性得分。
例如,使用如下代码:
kf = KFold(n=data.shape[0], n_folds=5, shuffle=True, random_state=8)lr = linear_model.LogisticRegression()accuracies = cross_val_score(lr, X_train,y_train, scoring='accuracy', cv = kf)
那么,如果我有一个包含训练和测试数据的数据集,并且我使用cross_val_score
函数和kfolds来确定算法在训练数据上的准确性,对于每个折叠,model
现在是否已经拟合并准备好在测试数据上进行预测?在上面的例子中使用lr.predict
回答:
不是的,模型并没有被拟合。查看cross_val_score
的源代码:
scores=parallel(delayed(_fit_and_score)(clone(estimator),X,y,scorer, train,test,verbose,None,fit_params)
如你所见,cross_val_score
在拟合折叠训练数据之前会克隆估计器。cross_val_score
会输出一个得分数组,你可以分析这些得分来了解估计器在数据的不同折叠上的表现,以检查它是否过拟合。你可以在这里了解更多
在你对cross_val_score
的结果满意之前,你需要拟合整个训练数据到估计器上,然后才能用它来对测试数据进行预测。