我在理解为什么DQN中需要目标网络时遇到了困惑。我正在阅读关于“通过深度强化学习实现人类级别控制”的论文。

我理解Q学习。Q学习是一种基于价值的强化学习算法，它学习状态-动作之间的“最优”概率分布，以最大化其在多个时间步上的长期折扣奖励。

Q学习使用贝尔曼方程进行更新，Q学习更新的一步可以表示为

Q(S, A) = Q(S, A) + $\alpha$[R_(t+1) + $\gamma$ (Q(s’,a;’) - Q(s,a)]

其中alpha和gamma是学习和折扣因子。我能理解强化学习算法会变得不稳定并发散。

• 经验回放缓冲区的使用是为了不忘记过去的经验，并使提供给学习概率分布的数据集去相关化。

• 这是我理解失败的地方。

• 让我在这里分解论文中的段落以便讨论
  • 对$Q$的小更新可能会显著改变策略，从而改变数据分布——我理解了这部分。对Q网络的周期性更改可能导致不稳定和分布的变化。例如，如果我们总是向左转或类似的情况。
  • 动作值（Q）与目标值之间的相关性r + $gamma$ (argmax(Q(s’,a’)) —— 这表示奖励 + gamma * 我对在当前状态下采取我认为是最佳动作并从那时起遵循我的策略的回报的预测。
  • 我们使用了一种迭代更新方法，将动作值（Q）调整为仅周期性更新的目标值，从而减少与目标的相关性。

所以，总结来说，目标网络是必需的，因为网络在每个时间步都在变化，而“目标值”也在每个时间步更新？

但我不明白它将如何解决这个问题？

回答：

所以，总结来说，目标网络是必需的，因为网络在每个时间步都在变化，而“目标值”也在每个时间步更新？

Q学习与DQN的区别在于，你用一个函数近似器替换了一个精确的价值函数。在Q学习中，你在每个时间步只更新一个状态/动作值，而在DQN中，你更新了许多，你理解这一点。由此产生的问题是，你可能会影响到你将要进入的下一个状态的动作值，而不是像在Q学习中那样保证它们稳定。

当使用标准深度网络（一组大小相同的全连接层）时，这种情况在DQN中几乎总是会发生。你通常会看到的这种效果被称为“灾难性遗忘”，它可能非常引人注目。如果你用这种类型的网络做月球着陆器游戏（简单的那个，不是像素的那个），并跟踪过去100场左右游戏的滚动平均分数，你可能会看到分数的曲线上升，然后突然完全崩溃，重新开始做出糟糕的决定，即使你的alpha值变得很小。这种循环将无休止地继续下去，无论你让它运行多久。

使用稳定的目标网络作为你的误差度量是解决这一效果的一种方法。从概念上讲，这就像说，“我有一个如何玩得好的想法，我会尝试一段时间，直到找到更好的方法”，而不是说“我要在每一步之后重新训练自己如何玩整个游戏”。通过让你的网络有更多时间考虑最近发生的许多动作，而不是一直更新，它有望在你开始使用它来做出动作之前找到一个更稳健的模型。

顺便说一句，DQN在这一点上基本上已经过时了，但那篇论文的主题是过去几年RL爆炸的导火索。