这是我在这里提出的第一个问题，我希望我做得对，

我正在处理Kaggle上很流行的泰坦尼克号数据集，如果你想查看的话，这里有一个教程 A Data Science Framework: To Achieve 99% Accuracy

在第5.2部分，它教你如何使用网格搜索来调节超参数。在我具体说明我的问题之前，让我先与你分享相关的代码；

这是使用GridSearchCV调参模型的代码：

cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)param_grid = {'criterion': ['gini', 'entropy'],'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1'max_features': [None, 'auto'], #max features to consider when performing split; default none or all'random_state': [0] }tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)tune_model.fit(data1[data1_x_bin], data1[Target])`    tune_model.best_params_result is:     {'criterion': 'gini',     'max_depth': 4,     'max_features': None,     'min_samples_leaf': 5,     'min_samples_split': 2,     'random_state': 0,     'splitter': 'best'}

根据代码，使用这些参数调参后的训练和测试准确率应该是这样的：

print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])

输出结果是： 0.8924916598172832 0.8767742588186237

出于好奇，我想要使用从GridSearchCV获得的参数创建自己的DecisionTreeClassifier()，

dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0,  splitter ='best')results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target],return_train_score = True, cv  = cv_split)

相同的超参数，相同的交叉验证数据集，不同的结果。为什么？

print(results['train_score'].mean(), results['test_score'].mean())0.8387640449438202 0.8227611940298509

这是tune_model的结果：

0.8924916598172832 0.8767742588186237

差异甚至不小。如果你问我，两个结果应该是相同的，

我不明白有什么不同？是什么不同导致结果不同？

我尝试使用k-fold而不是shufflesplit进行交叉验证，

在这两种情况下，我尝试了不同的random_state值，也尝试了random_state = None，

结果仍然不同。

能有人解释一下差异吗？

编辑：顺便说一下，我也想检查测试样本的结果：

dtree.fit(data1[data1_x_bin],data1[Target])dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)

输出结果： (0.8295964125560538, 0.9033059266872216)

相同的模型（决策树分类器），相同的超参数，结果却大不相同

（显然它们不是相同的模型，但我看不出为什么和如何不同）

回答：

更新

默认情况下，cross_validate使用估计器的评分方法作为默认评估性能的方式（你可以通过指定cross_validate的scoring关键字参数来更改）。DecisionTreeClassifier类的评分方法使用准确率作为其评分指标。在GridSearchCV中，roc_auc被用作评分指标。在两种情况下使用相同的评分指标会导致相同的分数。例如，如果将cross_validate的评分指标更改为roc_auc，你观察到的模型之间的分数差异就会消失。

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target], scoring = 'roc_auc' ... )

关于评分指标：

评分指标的选择决定了如何评估模型的性能。

想象一下，一个模型应该预测交通灯是否为绿色（交通灯是绿色的 -> 1，交通灯不是绿色的 -> 0）。这个模型可能会犯两种类型的错误。一种是它说交通灯是绿色的，但实际上不是绿色（假阳性），另一种是它说交通灯不是绿色的，但实际上是绿色的（假阴性）。在这种情况下，假阴性虽然不好，但其后果是可以忍受的（有人在交通灯前等待的时间比必要的长）。另一方面，假阳性将是灾难性的（有人因为交通灯被误判为绿色而闯红灯）。为了评估模型的性能，应该选择一个评分指标，该指标将假阳性视为比假阴性更严重的错误。准确率在这里将是一个不合适的指标，因为假阴性和假阳性会同样降低分数。更适合作为评分指标的可能是，例如，精确率。这个指标将假阳性计为1，而假阴性计为0（假阴性的数量对模型的精确率没有影响）。要了解假阴性、假阳性、精确率、召回率、准确率等的详细信息，请查看这里。F分数的beta参数（另一个评分指标）可以用来设置假阳性相对于假阴性的权重（有关更详细的解释，请参见这里）。关于roc_auc分数的更多信息，请查看这里（它是从混淆矩阵的不同统计数据计算得出的）。

总之，这意味着同一个模型在一种评分指标上可能表现得非常好，而在另一种评分指标上表现得不好。在你描述的情况下，由GridSearchCV优化过的决策树和你随后实例化的树是相同的模型。两者产生相同的准确率或相同的roc_auc分数。你用来比较不同模型在数据集上的性能的评分指标取决于你认为哪些标准对模型性能特别重要。如果唯一的标准是正确分类了多少实例，那么准确率可能是一个不错的选择。

旧想法（见评论）：

你为dtree指定了一个随机状态（dtree = tree.DecisionTreeClassifier(random_state = 0 ...），但在GridSearchCV中使用的决策树没有指定。使用相同的随机状态，看看是否解决了问题。

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)