我一直在使用以下代码来打印Adam()优化器中trainable_model的lr_t学习率。

if(np.random.uniform()*100 < 3 and self.training):    model = self.trainable_model    _lr    = tf.to_float(model.optimizer.lr, name='ToFloat')    _decay = tf.to_float(model.optimizer.decay, name='ToFloat')    _beta1 = tf.to_float(model.optimizer.beta_1, name='ToFloat')    _beta2 = tf.to_float(model.optimizer.beta_2, name='ToFloat')    _iterations = tf.to_float(model.optimizer.iterations, name='ToFloat')    t = K.cast(_iterations, K.floatx()) + 1    _lr_t = lr * (K.sqrt(1. - K.pow(_beta2, t)) /  (1. - K.pow(_beta1, t)))    print(" - LR_T: "+str(K.eval(_lr_t)))

我不明白的是，这个学习率是增加的。（衰减值在默认情况下为0）

如果我们查看Adam中的学习率方程，我们会发现这个：

 lr_t = lr * (K.sqrt(1. - K.pow(self.beta_2, t)) /                 (1. - K.pow(self.beta_1, t)))

这对应于参数的默认值的方程：

= 0.001*sqrt(1-0.999^x)/(1-0.99^x)

如果我们打印这个方程，我们得到：

这清楚地显示学习率随时间呈指数增长（因为t从1开始）

能有人解释这是为什么吗？我到处读到我们应该使用随时间衰减的学习率，而不是增加的学习率。

这是否意味着随着Adam的学习率增加，我的神经网络会进行更大的更新？

回答：

查看Keras中Adam优化器的源代码，实际的“衰减”似乎是在这一行执行的。你报告的代码是在之后执行的，并不是衰减本身。
如果问题是“为什么会这样”，我建议你阅读一些关于Adam的理论，比如原始论文。

编辑
应该清楚的是，Adam优化器的更新方程本身并不包括衰减。衰减应该单独应用。