我在阅读这篇博客

https://smist08.wordpress.com/2016/10/04/the-road-to-tensorflow-part-10-more-on-optimization/

其中提到了TensorFlow的所有学习率

optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step)optimizer = tf.train.AdadeltaOptimizer(starter_learning_rate).minimize(loss)optimizer = tf.train.AdagradOptimizer(starter_learning_rate).minimize(loss)     # promisingoptimizer = tf.train.AdamOptimizer(starter_learning_rate).minimize(loss)      # promisingoptimizer = tf.train.MomentumOptimizer(starter_learning_rate, 0.001).minimize(loss) # divergesoptimizer = tf.train.FtrlOptimizer(starter_learning_rate).minimize(loss)    # promisingoptimizer = tf.train.RMSPropOptimizer(starter_learning_rate).minimize(loss)   # promising

文中提到你输入的学习率只是初始学习率。这是否意味着如果你在训练过程中更改学习率，这个更改将不会产生效果，因为它不再使用初始学习率了？

我尝试查看了API文档，但没有找到具体说明这一点。

回答：

简短回答：

除了你的第一行，其余都是自适应梯度下降优化器，这意味着它们会在每一步根据某些条件自动调整学习率。所以你提供的学习率只是用于初始化。

以AdamOptimizer为例，你可以在这篇文章中了解其详细信息。