我正在使用Python在相对较大的数据集（27G）上训练我用TensorFlow制作的CNN模型。由于我的RAM无法一次性导入所有数据来供模型使用，我采取了类似下面的方法：
- 读取数据集(0)到数据集(100)
- 进行数据处理
- 训练模型20个周期
- 保存模型
- 读取数据集(101)到数据集(200)
然后对接下来的数据重新进行处理和训练。我使用model.save(filepath)函数，它保存了整个模型（权重、优化器状态等）。
以下是每次训练后保存和加载模型的简单代码：
loop(): dataprocessingtraining_data, training_labels = processed_data()mod = load_model('Mytf.h5')history.append(mod.fit(training_data,training_label,batch_size=10,epochs=40))mod.save('Mytf.h5') del training_datadel training_label然而，每次训练后在新数据上的损失（mse）几乎相同，并且在20个周期后（例如训练后）损失仍然相同。
这种方法正确吗？还是我错过了某个基本概念？
如果这是错误的，TensorFlow是否支持程序训练到某个点，然后生成新的处理数据并在同一个周期内输入模型？（例如，训练数据集(0)到数据集(100)的处理数据，说到周期的1/3，模型停止训练，程序处理新数据，然后在模型的同一状态下输入）。
附注：我确保了我正确地保存了模型，只需加载它并查看它是否在特定数据集训练结束时产生相同的准确度/损失即可。
回答：
我更愿意这样做
重复20次: 读取接下来的100个数据集/数据点 进行数据处理 训练模型1个周期 保存模型当你在n个数据点上运行20个周期时，你可能会对它们过拟合，当它看到接下来的n个数据点时，它需要重新学习。最好只在每个数据集上运行1个周期，并重复n次。
另外，在你采用的方法中，而不是训练20个周期，可以使用提前停止来避免过拟合。
