在查看多种代码时，我发现有些人将学习率称为“alpha”。这种称呼的起源是什么？这是常见的吗？

回答：

在梯度下降算法中，参数/权重的更新规则是

即我们取梯度的一个小值（倍数）并调整当前参数的值。我们所取的梯度量是由alpha决定的。alpha越大，所考虑的当前梯度部分就越大；alpha越小，所考虑的梯度就越小。

这个alpha被称为学习率，因为alpha越高，我们移动得越快；alpha越低，移动得越慢。