根据贝尔曼最优方程（见Sutton 2018年第63页），状态-动作的最优值为

而Q-learning的公式为

我知道Q-learning是无模型的，因此它不需要下一状态的转移概率。

然而，贝尔曼方程中的p(s’r|s,a)是给定状态s和动作a时，下一状态s’和奖励r的转移概率。因此，我认为要得到Q(s,a)，需要转移概率。

贝尔曼方程中的Q和Q-learning中的Q有区别吗？

如果它们是相同的，Q-learning如何能作为无模型的方法工作？

对于Q-learning，有没有办法在不考虑转移概率的情况下得到Q(s,a)？

还是我搞混了什么？

回答：

Q-learning是将贝尔曼方程应用于状态-动作值函数的一个实例。它被称为“无模型”，因为你不需要一个转移函数来决定，对于给定的决策，接下来是哪个状态。

然而，Q-learning有多种形式，这些形式在已知信息上有所不同。特别是，当你知道转移函数时，你可以并且应该在你的贝尔曼方程中使用它。这就导致了你引用的那个方程。

另一方面，如果你不知道转移函数，Q-learning同样有效，但你必须通过模拟来采样转移函数的影响。