意思是说，如果在训练过程中你设定的学习率过高，并且不幸陷入了一个值过高的局部最小值，那么是应该用更低的学习率重新训练，还是应该从一个较高的学习率开始训练这个表现不佳的模型，希望损失值能逃离局部最小值呢？

回答：

严格来说，你不必重新训练，因为你可以继续用更低的学习率进行训练（这被称为学习计划）。一个非常常见的方法是，每次损失值停滞或变得恒定时，将学习率降低（通常是除以10）。

另一种方法是使用一个优化器，该优化器根据梯度大小来调整学习率，因此当你接近最小值时，学习率会自然衰减。这类优化器的例子有ADAM、Adagrad和RMSProp。

无论如何，务必在验证集上找到最佳的学习率，这将显著提高性能并加快学习速度。这适用于普通的SGD以及任何其他优化器。