Silva和Almeida的算法通过为每个权重引入个性化的自适应学习率，对现有的反向传播算法进行了改进。新学习率的值计算如下：

我读到常数u和d的设定是u > 1和d < 1。这些约束条件相当宽泛，所以是否有设置这些值的一般指导原则，还是我必须通过实验来确定适合我特定问题的值？

回答：

我读到适合大多数问题的“好起始”值是尝试u = 1.2和d = 0.8，但我现在找不到来源。

编辑：我找到了，PDF第10-11页

另外，请注意关于通过引入动量项来改进算法的评论，如果你还没有这样做的话…