看起来scikit-learn的GridSearchCV会收集其（内部）交叉验证折叠的得分，然后对所有折叠的得分进行平均。我对这种做法背后的原理感到好奇。乍一看，似乎更灵活的做法是收集其交叉验证折叠的预测，然后对所有折叠的预测应用所选的评分指标。
我之所以注意到这个问题，是因为我在一个不平衡的数据集上使用GridSearchCV，设置了cv=LeaveOneOut()和scoring='balanced_accuracy'（scikit-learn v0.20.dev0）。将像平衡准确率（或召回率）这样的评分指标应用于每个留出的样本似乎没有意义。相反，我希望先收集所有预测，然后一次性对所有预测应用我的评分指标。或者，这种推理是否存在错误？
更新：我通过创建一个基于GridSearchCV的自定义网格搜索类解决了这个问题，区别在于首先从所有内部折叠中收集预测，然后一次性应用评分指标。
回答：
GridSearchCV使用评分来决定模型中应设置哪些内部超参数。
如果你想估计“最优”超参数的性能，你需要进行额外的交叉验证步骤。
参见http://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html
编辑以更接近回答实际问题：对我来说，如果你想使用LeaveOneOut和balanced_accuracy，收集每个折叠的预测然后对它们进行评分似乎是合理的。我认为你需要创建自己的网格搜索器来做到这一点。你可以使用model_selection.ParameterGrid和model_selection.KFold来实现。
