我有一个回归问题，我使用Keras的全连接层来建模。我正在使用cross_val_score，我的疑问是：如何提取cross_val_score执行的每种训练/验证组合的模型和历史记录？

假设有以下示例：

from sklearn import datasetsfrom sklearn.model_selection import cross_val_score, KFoldfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.wrappers.scikit_learn import KerasRegressorseed = 1diabetes = datasets.load_diabetes()X = diabetes.data[:150]y = diabetes.target[:150]def baseline_model():    model = Sequential()    model.add(Dense(10, input_dim=10, activation='relu'))    model.add(Dense(1))    model.compile(loss='mean_squared_error', optimizer='adam')    return modelestimator = KerasRegressor(build_fn=baseline_model, nb_epoch=100, batch_size=100, verbose=False)kfold = KFold(n_splits=10, random_state=seed)results = cross_val_score(estimator, X, y, cv=kfold)print("Results: %.2f (%.2f) MSE" % (results.mean(), results.std()))

我的理解是，我只能得到每个折叠的整体均方误差（MSE）。但我想比较每个折叠中模型在不同轮次（epochs）上的训练和验证MSE，在这个例子中是10个折叠。

当不使用kfold，而是使用简单的训练/验证分割时，可以这样做：

hist = model.fit(X_tr, y_tr, validation_data=val_data,                  epochs=100, batch_size=100,                  verbose=1)plt.plot(history.history['loss'])plt.plot(history.history['loss'])

这将返回一个图表，展示训练和验证数据集在不同轮次上的MSE变化情况，从而可以发现过拟合或欠拟合现象。

在使用交叉验证时，如何为每个折叠做到这一点？

回答：

您可以采用“手动”CV过程，并为每个折叠绘制损失（或您可能想使用的任何其他可用指标），例如这样做：

from sklearn.metrics import mean_squared_errorcv_mse = []for train_index, val_index in kfold.split(X):    history = estimator.fit(X[train_index], y[train_index])    pred = estimator.predict(X[val_index])    err = mean_squared_error(y[val_index], pred)    cv_mse.append(err)    plt.plot(history.history['loss'])

在这种情况下，cv_mse列表将包含每个折叠的最终MSE，您还可以得到每个折叠在每个轮次上的损失变化图表。