我使用完全相同的模型和训练数据集进行了两次训练，但结果却大不相同，这让我对它们的损失曲线行为感到困惑。
第一次实验的损失曲线（红色曲线）在第一轮训练接近尾声时突然上升，随后缓慢而稳定地下降。
然而，第二次实验的损失曲线（蓝色曲线）并未在任何地方出现上升，一直稳定下降直至收敛。20轮后的损失值远低于第一次实验，我得到了非常高质量的输出。
我不知道第一次实验中那个大幅上升的原因是什么。两次实验使用了相同的模型和训练数据集。
模型描述：我的项目是稀疏视角CT图像重建。我的目标是通过迭代方法并在每次迭代中使用CNN来重建稀疏视角图像。这与陈提出的LEARN算法非常相似。
该过程包含30次迭代，每次迭代中，我使用CNN来更好地训练正则化项。
由于我有30次迭代，每次迭代中有3+（我一直在尝试不同复杂度的架构）层的CNN，我理解这将会有大量的参数和层数。
到目前为止，对于我测试的所有CNN架构，这种“大幅上升”在每个架构中都相当常见。
训练数据包括3600张512*512的稀疏视角CT图像，测试数据包括360张稀疏视角CT图像。
批次大小为1，每轮训练（epoch）为20。
更新：感谢大家的建议。阅读了答案后，我开始考虑梯度爆炸/消失的问题。因此，我将ReLU改为ELU，将权重初始化从Xavier改为He，并添加了梯度裁剪。结果非常好。我又运行了五次标准模型（与上述提到的相同模型），它们都在稳定地减缓。对于其他具有CNN架构的模型，它们的损失也在下降，且没有发生重大波动。
代码已经在每轮训练开始时对训练数据集进行了洗牌。下一步我计划添加批量归一化，并尝试最大范数正则化。
回答：
这将是一个与@Anant相似的回答，但以不同的方式表达。我通常更喜欢使用回溯方法来获得直觉。
- 已知：损失函数在第110轮（假设）突然上升。
- 可能发生的情况：
- 在第109轮，你可能设置了导致y_hat偏离的权重。
在深度神经网络的情况下，这可能由于梯度爆炸/消失而发生。你可能需要进行权重裁剪或调整权重初始化，使权重更接近1，从而减少爆炸的可能性。
此外，如果你的学习率过大，也可能出现这种问题。在这种情况下，你可以降低学习率或使用学习率衰减。
