我正在处理一个不平衡的分类问题，其中负类样本的数量是正类样本的1000倍。我的策略是在一个平衡的（50/50比例）训练集上训练深度神经网络（我有足够的模拟样本），然后使用一个不平衡的（1/1000比例）验证集来选择最佳模型并优化超参数。

由于参数数量较多，我想要使用scikit-learn的RandomizedSearchCV，即随机网格搜索。

据我所知，sk-learn的GridSearch会在训练集上应用一个度量标准来选择最佳的超参数集。然而，在我的案例中，这意味着GridSearch会选择在平衡训练集上表现最佳的模型，而不是在更现实的不平衡数据上表现最佳的模型。

我的问题是：有没有办法在特定、用户定义的验证集上估算性能的网格搜索方法？

回答：

如评论中所建议，你需要的是PredefinedSplit。它的描述可以在这里的问题中找到

关于它的工作原理，你可以查看文档中给出的示例：

from sklearn.model_selection import PredefinedSplitX = np.array([[1, 2], [3, 4], [1, 2], [3, 4]])y = np.array([0, 0, 1, 1])#这是你需要的test_fold = [0, 1, -1, 1]ps = PredefinedSplit(test_fold)ps.get_n_splits()#OUTPUT2for train_index, test_index in ps.split():   print("TRAIN:", train_index, "TEST:", test_index)   X_train, X_test = X[train_index], X[test_index]   y_train, y_test = y[train_index], y[test_index]#OUTPUTTRAIN: [1 2 3] TEST: [0]TRAIN: [0 2] TEST: [1 3]

如你所见，你需要为test_fold分配一个索引列表，这些索引将用于分割数据。-1将用于不在验证集中样本的索引。

所以在上面的代码中，test_fold = [0, 1, -1, 1]表示在第一个验证集中（在test_fold中值为0的样本的索引），索引为0。第二个验证集是test_fold值为1的地方，因此索引为1和3。

但是当你说你有X_train和X_test，如果你只想从X_test中获取验证集，那么你需要做以下操作：

my_test_fold = []#在这里放-1，这样它们将被包含在训练集中for i in range(len(X_train)):    my_test_fold.append(-1)#对于所有更大的索引，分配0，这样它们将被放入测试集中for i in range(len(X_test)):    my_test_fold.append(0)#将X_train和X_test组合成一个数组：import numpy as npclf = RandomizedSearchCV( ...    cv = PredefinedSplit(test_fold=my_test_fold))clf.fit(np.concatenate((X_train, X_test), axis=0), np.concatenate((y_train, y_test), axis=0))