如果我们有一个近似函数 y = f(w,x)，其中 x 是输入，y 是输出，w 是权重。根据梯度下降规则，我们应该按照 w = w – df/dw 来更新权重。但是，我们是否可以按照 w = w – w * df/dw 来更新权重呢？之前有人见过这种方法吗？我想这样做的原因是因为在我的算法中这样做更容易实现。

回答：

回顾一下，梯度下降是基于 f(w, x) 在 w 附近的泰勒展开，并且其目的——在你的语境中——是重复以小步修改权重。反向梯度方向只是一个基于函数 f(w, x) 非常局部知识的搜索方向。

通常，权重的迭代包括一个步长，得到的表达式为

w_(i+1) = w_(i) - nu_j df/dw,

其中步长 nu_j 的值是通过线性搜索找到的，参见例如 https://en.wikipedia.org/wiki/Line_search。

因此，基于上述讨论，回答你的问题：不，按照

w_(i+1) = w_(i) - w_(i) df/dw

来更新并不是一个好主意。为什么？如果 w_(i) 很大（在上下文中），我们将基于非常局部信息采取巨大的步骤，我们将使用与细步梯度下降方法非常不同的方法。

此外，正如评论中 @lejlot 指出的，如果 w(i) 为负值，你将沿着梯度的（正）方向前进，即沿着函数增长最快的方向，这在局部是最差的搜索方向（对于最小化问题）。