我正在使用由tensorflow模型生成的tfrecords训练我的MobileNet V3。训练损失相对于步数的图表如下所示。x轴的单位长度为20k步（大约2个epoch，因为批次大小为128，总共1281167个样本）。

我每3个epoch以阶梯式方式对学习率0.01进行指数衰减，前4个epoch的损失正常下降。然而，在第4个epoch之后，损失每epoch都会上升和下降。我尝试了动量优化器（橙色表示）和RMSprop优化器（蓝色表示），结果相似。请帮助我解决这个问题。

回答：

这种周期性几乎肯定与一个完整的epoch对齐。

你的模型在不同批次上的损失有随机变化是很自然的。你看到这种随机变化在权重稳定后重复出现，所以你只是看到（大概）每个批次的相同损失在每个epoch中重复出现。

我不确定这是否需要解决，但如果你真的想避免它，你可以在epoch之间打乱数据集的顺序