我正在学习使用scikit-learn进行交叉验证（http://scikit-learn.org/stable/modules/cross_validation.html）
我的代码：
from sklearn.cross_validation import train_test_splitfrom sklearn.cross_validation import cross_val_scorefrom sklearn import datasetsfrom sklearn import svmiris = datasets.load_iris()# 准备数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=0)# 创建模型clf1 = svm.SVC(kernel='linear', C=1)# 训练模型scores = cross_val_score(clf1, x_train, y_train, cv=5)# 在训练数据上的准确率print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))# 在未见过的数据上的准确率print clf1.score(x_test, y_test)我理解通过交叉验证，我们可以使用整个数据集来训练和验证，就像scikit-learn文档中的示例一样。如果我想在交叉验证后对数据进行评分怎么办？我认为我的模型在通过交叉验证学习后已经训练好了。在使用score()时，我得到的是
raise NotFittedError(msg % {'name': type(estimator).__name__})sklearn.utils.validation.NotFittedError: This SVC instance is not fitted yet. Call 'fit' with appropriate arguments before using this method.在文档的第3.1.1.1节中提到了cross_val_predict方法，我可以使用它，但为什么我需要cv参数（即折叠数），而我只是想检查已训练模型的准确性？
我对任何提示表示感谢。
回答：
这里有一段代码，可以完成任务，并附有如何工作的逐步解释。
首先，我们导入必要的模块：
In [204]: from sklearn.model_selection import cross_val_score, StratifiedKFoldIn [205]: from sklearn import datasetsIn [206]: from sklearn import svm你应该确保已经安装了scikit-learn 0.18，否则以下代码可能无法工作。请注意，我使用的是sklearn.model_selection而不是sklearn.cross_validation，因为后者在0.18版本中已被废弃。
然后我们加载iris数据集，并创建包含特征和标签的数组X和y：
In [207]: iris = datasets.load_iris()In [208]: X, y = iris.data, iris.target在下一步中，我们创建C支持向量分类类的实例：
In [209]: clf = svm.SVC(kernel='linear', C=1)现在我们创建一个分层K折验证器，将数据集分成5个不相交的子集，即A、B、C、D和E。这五个折叠是分层的，这意味着A、B、C、D和E中每个类别的样本比例与整个数据集中的比例相同。
In [210]: skf = StratifiedKFold(n_splits=5, random_state=0)最后，我们通过5次分类试验来估计泛化准确率：
In [211]: scores = cross_val_score(clf, X, y, cv=skf)In [212]: scoresOut[212]: array([ 0.9667, 1. , 0.9667, 0.9667, 1. ])In [213]: scores.mean()Out[213]: 0.980000000000000095折交叉验证可以总结如下：
分类编号 训练样本 测试样本 准确率1 A + B + C + D E 0.96672 A + B + C + E D 1.3 A + B + D + E C 0.96674 A + C + D + E B 0.96675 B + C + D + E A 1.从上表中可以清楚地看出，每个样本用于训练四次，并且只测试一次。
对你额外评论的回复：
- 交叉验证的主要优势是所有样本都用于训练和测试，即交叉验证为你提供了最大限度的建模和测试能力，这在数据集较小时尤为重要。
- 避免过拟合的一种方法是使用不同的样本进行训练和测试。
- 选择模型参数的一种常见方法是验证不同参数集的模型，并选择那些最大化分类准确率的值。
