据我所知，交叉验证（在GridSearchCV/RandomizedSearchCV中）会将数据分成若干折，每一折都会作为验证集一次。但来自sklearn的一个建议是：

通过评估各种参数设置来选择模型可以被视为一种使用标记数据来“训练”网格参数的方法。在评估生成的模型时，重要的是在网格搜索过程中未见过的样本上进行评估：建议将数据分成开发集（输入到GridSearchCV实例中）和评估集（计算性能指标）。这可以通过使用train_test_split工具函数来实现。

因此，我们可以使用“train_test_split”将原始数据分成训练数据和验证数据

X_train, X_val, y_train, y_val = train_test_split(X,y,test_size=0.25)

并在fit GridSearchCV/RandomizedSearchCV时使用X_train,y_train，以及在fit_params中使用X_val, y_val作为eval_set。

这真的有用吗？

我们对原始数据进行了两次分割（SearchCV和train_test_split）——是否必要？

在SearchCV中使用的数据较少（X vs X_train）——是否会导致训练精度降低？

回答：

这里的文档中将评估集称为测试集。因此，你应该使用train_test_split将数据分成训练集和测试集。

执行这个train_test_split是有用的，因为这样你就可以使用包含未见数据的测试集来验证模型的结果。

训练集将在GridSearchCV过程中使用，以找到模型的最佳参数。如文档中所解释，你可以使用cv参数来使用n-1折训练你的模型，并用1折进行验证。

我建议在GridSearchCV过程中使用交叉验证集，而不是固定验证集，因为这将更好地指示你的模型在未见数据上的表现。