如果我将一个常数乘以损失函数，会发生什么？我认为我会得到一个更大的梯度，对吗？这相当于有一个更大的学习率吗？
回答：
基本上 – 这取决于很多因素：
-
如果你使用经典的随机/批量/全批量学习，并使用更新规则，其中：
new_weights = old_weights - learning_rate * gradient
那么由于乘法的交换律 – 你的说法是正确的。
-
如果你使用任何具有自适应学习率的学习方法（如
ADAM或rmsprop）- 那么情况会有所不同。尽管如此 – 你的梯度仍然会受到乘法的影响 – 但学习率可能完全不受影响。这取决于成本函数的新值如何与学习算法协作。 -
如果你使用的是具有自适应梯度但非自适应学习率的学习方法 – 通常学习率的影响方式与第1点相同。（例如在
momentum方法中）。
