由于我的数据量较小，我决定尝试使用交叉验证，以便为所有数据获取预测，如下所示：

for train_index, test_index in KFold(9, shuffle = True, random_state = 42).split(range(len(df))):    train_data, test_data = df[train_index], df[test_index]    train_images, test_images = images[train_index], images[test_index]    train_labels, test_labels = labels[train_index], labels[test_index]    model.fit([train_data, train_images], train_labels, epochs = 100, batch_size = 5)    model.predict([test_data, test_images])

我的理解是，每次这样做都会训练一个新的模型（总共9次）。然而，如果真是这样，那么我的损失输出就毫无意义：

顶部的灰色曲线是第一次迭代，它从接近1开始，然后下降。后续的迭代都显著低于第一次。

我想了解我在这里做错了什么——我希望完全训练9次新的网络，然后每次获取预测结果。

回答：

在调用model.fit时，参数估计将从上次停止的地方继续，因此你是对的，一旦你到达循环的第二次迭代，你将使用第一次迭代中达到的任何结果。

为了避免这种情况，你需要在每次迭代之间重置模型的参数。一种方法是在每次迭代中从头开始创建模型。需要注意的是，默认情况下，权重是以随机值初始化的（以避免目标的局部极值），所以如果你完全重新初始化模型，你将使用不同的随机起点。为了避免这一点，并确保每次迭代使用相同的起点，你可以固定初始值（例如，通过固定随机种子），或者只是使用Keras提供的初始值，然后在第一次迭代之前使用model.save，并在每次迭代开始时使用load_model，即做类似于以下的事情：

from keras.models import load_modelmodel = ...model.save('initial.h5')for ... in KFold    model = load_model('initial.h5')    model.fit(...)    model.predict(...)

并不是说你一定要担心这个问题：你也可以简单地将随机初始化视为你试图估计其泛化误差的抽象统计模型的一部分，并且对每次迭代的新起点感到满意。