根据Adam的伪代码:

我编写了一些代码:

from matplotlib import pyplot as pltimport numpy as np# np.random.seed(42)num = 100x = np.arange(num).tolist()# 以下3组g_list代表3种梯度变化类型:# g_list = np.random.normal(0,1,num)  # 梯度方向在正负之间频繁变化# g_list = x  # 梯度方向始终为正，梯度值逐渐增大g_list = [10 for _ in range(num)]  # 梯度方向始终为正，梯度值始终相同m = 0v = 0beta_m = 0.9beta_v = 0.999m_list = []v_list = []for i in range(1,num+1):    g = g_list[i-1]    m = beta_m*m + (1 - beta_m)*g    m = m/(1-beta_m**i)    v = beta_v*v + (1 - beta_v)*(g**2)    v = v/(1-beta_v**i)    m_list.append(m)    v_list.append(np.sqrt(v))mv = np.array(m_list)/(np.array(v_list) +0.001)print("==>> mv: ", mv)plt.plot(x, g_list, x, mv)

运行代码后，我得到了以下图表:

对我来说，这似乎有些违反直觉，因为我认为当梯度方向始终为正且梯度值恒定时，学习率的系数（即mv）应该接近1，但我在第100次迭代得到的mv值为3.40488818e-70，接近于零。

如果我修改部分代码:

    # m = m/(1-beta_m**i)    if i == 1:      m = m/(1-beta_m**i)    # v = v/(1-beta_v**i)    if i == 1:       v = v/(1-beta_v**i)

我得到的结果是这样的:

这更符合我的直觉。

能否有人告诉我我的上述代码是否正确，如果正确的话，是否符合你的直觉得到这样的结果？

回答：

你的代码实现几乎正确，但你需要注意你与算法之间的一个区别是，你错误地将偏差校正项m/(1-beta_m**i)累积到了变量m中。你应该为偏差校正分配一个单独的变量m_hat。

同样适用于v：将偏差校正值分配给另一个变量，如v_hat。

这样做可以避免在m和v的累积中包含偏差校正。

你的代码可以保持不变，但要更改偏差校正值的计算以及列表的追加操作。如果你这样做，你将得到你想要的结果。

for i in range(1,num+1):    g = g_list[i-1]    # 计算m和v    m = beta_m*m + (1 - beta_m)*g    v = beta_v*v + (1 - beta_v)*(g**2)    # 将偏差校正值分别分配给m_hat和v_hat    m_hat = m/(1-beta_m**i)    v_hat = v/(1-beta_v**i)    # 追加到列表    m_list.append(m_hat)    v_list.append(np.sqrt(v_hat))