假设我有一个训练样本（及其对应的训练标签）用于一个定义好的神经网络（神经网络的架构对回答这个问题并不重要）。我们称这个神经网络为“模型”。
为了避免任何误解，假设我为“模型”引入了初始权重和偏置。
实验1。
我使用训练样本和训练标签来训练“模型”，共40个epochs。训练结束后，神经网络将拥有一组特定的权重和偏置，我们称之为WB_Final_experiment1。
实验2
我使用训练样本和训练标签来训练“模型”，共20个epochs。训练结束后，神经网络将拥有一组特定的权重和偏置，我们称之为WB_Intermediate。
现在我将WB_Intermediate引入“模型”并继续训练20个epochs。训练结束后，神经网络将拥有一组特定的权重和偏置，我们称之为WB_Final_experiment2。
考虑因素。每个参数、超参数、激活函数、损失函数……在两个实验中都是完全相同的，除了epochs的数量不同。
问题：WB_Final_experiment1和WB_Final_experiment2是否完全相同？
回答：
如果你按照这里的教程进行，你会发现两个实验的结果如下 –
实验1
实验2
在第一个实验中，模型运行了4个epochs，而在第二个实验中，模型运行了2个epochs，然后使用前一次训练的最后权重继续训练2个epochs。你会发现结果有所不同，但差异非常小。而且由于权重的随机初始化，它们总是会有所不同。但两个模型的预测结果会非常接近。
如果模型以相同的权重初始化，那么在4个epochs结束时，两个模型的结果将保持相同。
另一方面，如果你训练了2个epochs，然后关闭了训练会话，并且没有保存权重，如果你在重新启动会话后再训练2个epochs，预测结果将不会相同。为了避免这种情况，在训练之前，总是加载保存的权重以继续训练，使用model.load_weights("path to model")。
TL;DR
如果模型以完全相同的权重初始化，那么在相同训练epochs结束时的输出将保持相同。如果它们是随机初始化的，输出只会略有不同。
