我目前正在处理一个问题，比较三种不同的机器学习算法在同一数据集上的表现。我将数据集按70/30的比例分为训练集和测试集，然后使用GridSearchCV和X_train, y_train对每种算法进行网格搜索以找到最佳参数。
第一个问题，我应该在训练集上进行网格搜索，还是应该在整个数据集上进行？
第二个问题，我知道GridSearchCV在其实现中使用了K折交叉验证，这是否意味着如果我在GridSearchCV中对所有三个算法使用相同的X_train, y_train，我已经执行了交叉验证？
任何回答都将不胜感激，谢谢。
回答：
在scikit中，名称以CV结尾的所有估计器都会执行交叉验证。但您需要保留一个单独的测试集来衡量性能。
因此，您需要将整个数据集拆分为训练集和测试集。暂时忘记这个测试数据。
然后只将训练数据传递给网格搜索。GridSearch将进一步将此训练数据拆分为训练和测试，以调整传递给它的超参数。最后，使用找到的最佳参数在整个训练数据上拟合模型。
现在，您需要在最初保留的测试数据上测试这个模型。这将为您提供模型在近乎真实世界的表现。
如果您将整个数据集用于GridSearchCV，那么测试数据就会泄漏到参数调整中，最终模型在新的未见数据上可能表现得不好。
您可以查看我的其他回答，其中更详细地描述了GridSearch：
