我有6.5 GB的训练数据用于我的GRU网络。我打算分段进行训练，即暂停并在稍后恢复，因为我使用的是笔记本电脑。我估计使用全部6.5 GB的数据来训练我的神经网络需要几天的时间，所以我会暂停训练，然后在其他时间继续进行。

我的问题是，如果我对训练数据的批次进行洗牌，神经网络会记住哪些数据已经被用于训练了吗？

请注意，我正在使用tf.train.Saver().save的global_step参数。

非常感谢您的提前帮助！

回答：

我建议您在特定轮次保存模型，假设您有80个轮次，建议每20个轮次保存一次模型（20、40、60），但这取决于您的笔记本电脑的容量，原因是在一个轮次中，您的网络将看到所有数据集（训练集）。如果您的整个数据集无法在一个轮次内处理完，我建议您从整个数据集中随机抽样作为训练集。洗牌的整个目的是让网络对整个数据集进行一些泛化，通常在批次上或选择训练数据集，或开始新的训练轮次时进行。至于您的主问题，在训练和恢复时洗牌批次是完全可以的。洗牌批次确保梯度是沿着批次而不是单个图像计算的