decay_rate = 0.99 # RMSProp中梯度平方“泄漏”总和的衰减因子

我对类似于上述评论中提到的RMSProp优化器的“泄漏”平方和的措辞感到困惑。到目前为止，我发现这一特定行是从Andrej Karpathy的深度强化学习：从像素到乒乓球中复制粘贴的，并且RMSProp是Hinton在其Coursera课程中提出的一个未发表的优化器，详见链接。从链接2中查看RMSProp的数学公式，很难理解这怎么会是“泄漏”的。

有谁知道为什么RMSProp会被这样描述吗？

回答：

RMSprop保持了梯度平方的指数衰减平均值。“泄漏”这个词（尽管不太恰当）指的是前一个估计值有多少“泄漏”到当前估计值中，因为

E[g^2]_t := 0.99 E[g^2]_{t-1} + 0.01 g^2_t            \_______________/   \________/               "泄漏"         新数据