在满足某些条件后，调整学习率是否有意义？如何调整以及为什么要这样做？例如，网络可以从高学习率开始，当平方误差足够低时，降低学习率以获得更高的精度，或者应该增加学习率以跳出局部最小值。这不会导致过拟合吗？那动量呢？

回答：

通常，你应该从高学习率和低动量开始。然后，随着时间的推移降低学习率并增加动量。这个想法是在学习的开始阶段允许更多的探索，并在学习的末期强制收敛。通常，你应该观察训练误差来设定你的学习计划：如果误差不再变化，即训练陷入停滞，就该降低你的学习率了。