我正在使用NSL-KDD数据集处理入侵分类问题。我使用了递归特征消除技术，选取了42个特征中的10个进行训练，使用随机森林分类器作为估计器参数，并使用基尼指数作为决策树分裂的标准。在训练分类器后，我使用相同的分类器来预测测试数据的类别。我使用sklearn的cross_val_score进行交叉验证，得到了准确率、精确率、召回率和F分数，所有的分数都超过了99%。但是，绘制混淆矩阵后显示的结果却不同，假阳性和假阴性的值较高。显然，这些结果与准确率和其他分数不匹配。我哪里做错了？

# 训练集包含X_train（特征数据框）和Y_train（目标标签系列）
# 测试集包含X_test和Y_test
# 分类器变量
clf = RandomForestClassifier(n_estimators = 10, criterion = 'gini')
# 训练
clf.fit(X_train, Y_train)
# 测试
Y_pred = clf.predict(X_test)
pandas.crosstab(Y_test, Y_pred, rownames = ['Actual'], colnames = ['Predicted'])
# 评分
accuracy = cross_val_score(clf, X_test, Y_test, cv = 10, scoring = 'accuracy')
print("Accuracy: %0.5f (+/- %0.5f)" % (accuracy.mean(), accuracy.std() * 2))
precision = cross_val_score(clf, X_test, Y_test, cv = 10, scoring = 'precision_weighted')
print("Precision: %0.5f (+/- %0.5f)" % (precision.mean(), precision.std() * 2))
recall = cross_val_score(clf, X_test, Y_test, cv = 10, scoring = 'recall_weighted')
print("Recall: %0.5f (+/- %0.5f)" % (recall.mean(), recall.std() * 2))
f = cross_val_score(clf, X_test, Y_test, cv = 10, scoring = 'f1_weighted')
print("F-Score: %0.5f (+/- %0.5f)" % (f.mean(), f.std() * 2))

我得到了以下准确率、精确率、召回率和F分数：

Accuracy 0.99825 Precision 0.99826Recall 0.99825F-Score 0.99825

然而，混淆矩阵显示的结果却不同

Predicted 9670    41Actual    5113    2347

我是整个训练过程出了问题，还是仅仅是由于特征选择不当导致的错误分类问题？

回答：

你比较的结果并不等同！对于混淆矩阵，你在(X_train, Y_train)上训练，并在(X_test, Y_test)上测试。然而，crossvalscore在你提供的数据集上进行自己的交叉验证（这里是10折），它在(X_test, Y_test)的k-1折上拟合估计器，并在剩余的一折上测试。请查看crossvalscore的文档以获取更多解释。

因此，你并没有在相同的数据上拟合和测试你的算法。这可能解释了结果中的一些不一致性。