我正在尝试使用以下代码通过GridSearchCV寻找神经网络回归模型的最佳参数:
param_grid = dict(optimizer=optimizer, epochs=epochs, batch_size=batches, init=initgrid = GridSearchCV(estimator=model, param_grid=param_grid, scoring='neg_mean_squared_error')grid_result = grid.fit(input_train, target_train)pred = grid.predict(input_test)
据我所知,grid.predict(input_test)
使用最佳参数来预测给定的输入集。是否有办法使用测试集来评估GridSearchCV的每组参数?
实际上,我的测试集中包含一些特殊记录,我希望测试模型的通用性以及准确性。谢谢你。
回答:
你可以用自定义迭代器替换GridSearchCV
的标准3折交叉验证参数,该迭代器生成连接后的训练和测试数据框的训练和测试索引。结果,在进行1折交叉验证时,你将在input_train
对象上训练模型,并在input_test
对象上测试拟合后的模型:
def modified_cv(input_train_len, input_test_len): yield (np.array(range(input_train_len)), np.array(range(input_train_len, input_train_len + input_test_len)))input_train_len = len(input_train)input_test_len = len(input_test)data = np.concatenate((input_train, input_test), axis=0)target = np.concatenate((target_train, target_test), axis=0)grid = GridSearchCV(estimator=model, param_grid=param_grid, cv=modified_cv(input_train_len, input_test_len), scoring='neg_mean_squared_error')grid_result = grid.fit(data, target)
通过访问grid_result.cv_results_
字典,你将看到测试集上所有指定模型参数网格的度量值。