当我在Adam优化器中添加了一个ExponentialDecay学习率调度时，它在应该生效之前就改变了训练行为。我使用了以下定义来设置调度：
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay( 1e-3, decay_steps=25, decay_rate=0.95, staircase=True)由于我使用了staircase=True，在前25个epoch中应该与使用相同值的静态学习率没有区别。因此，以下两个优化器在前25个epoch中应该产生相同的训练结果：
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)然而，我观察到行为在之前就已经不同了：
这是我使用的测试代码：
我使用的是Python 3.7.9和以下版本的TensorFlow：
$ conda list | grep tensorflowtensorflow 2.1.0 mkl_py37h80a91df_0 tensorflow-base 2.1.0 mkl_py37h6d63fb7_0 tensorflow-estimator 2.1.0 pyhd54b08b_0回答：
当使用ExponentialDecay时，基本操作是使学习率按以下方式衰减：
def decayed_learning_rate(step): return initial_learning_rate * decay_rate ^ (step / decay_steps)当你设置staircase=True时，step / decay_steps变成了整数除法，学习率遵循阶梯函数。现在，让我们看一下源代码：
# ...设置步进函数...global_step_recomp = math_ops.cast(step, dtype) # step是当前步数p = global_step_recomp / decay_stepsif self.staircase: p = math_ops.floor(p)return math_ops.multiply(initial_learning_rate, math_ops.pow(decay_rate, p), name=name)我们可以看到，每隔decay_steps的倍数，变量p就会更新，所以在第25步、50步、75步等等时更新…基本上，学习率在每25步内是恒定的，而不是epoch – 这就是为什么它会在前25个epoch之前更新。关于步数和epoch的区别，可以阅读TensorFlow中步数和epoch的区别是什么？
