我使用Python实现了VI（值迭代）、PI（策略迭代）和QLearning算法。在比较结果后，我发现了一些情况。VI和PI算法收敛到相同的效用和策略。在相同参数下，QLearning算法收敛到不同的效用，但与VI和PI算法具有相同的策略。这是正常现象吗？ 我阅读了许多关于MDP和强化学习的论文和书籍，但没有找到任何关于VI-PI算法的效用是否应该与QLearning收敛到相同效用的信息。
以下是我网格世界的信息和结果。
我的网格世界
- 状态 => {s0, s1, … , s10}
- 动作 => {a0, a1, a2, a3} 其中：a0 = 上，a1 = 右，a2 = 下，a3 = 左 适用于所有状态
- 有4个终止状态，奖励分别为 +1, +1, -10, +10。
- 初始状态是 s6
- 动作的转换概率为 P，并且有 (1 – p) / 2 的概率转向该动作的左侧或右侧。（例如：如果P = 0.8，当代理尝试向上走时，有80%的概率向上走，10%的概率向右走，10%的概率向左走。）
结果
- VI和PI算法的结果，参数为 奖励 = -0.02，折扣因子 = 0.8，概率 = 0.8
- VI在50次迭代后收敛，PI在3次迭代后收敛
- QLearning算法的结果，参数为 奖励 = -0.02，折扣因子 = 0.8，学习率 = 0.1，探索的epsilon = 0.1
- QLearning结果图像上的效用是每个状态的最大Q(s, a)对。
qLearning_1million_10million_iterations_results.png
此外，我还注意到，当QLearning进行100万次迭代时，距离+10奖励的终止状态同样远的状态具有相同的效用。代理似乎不在乎它是否会通过靠近-10终止状态的路径到达奖励，而在VI和PI算法中，代理会关心这一点。这是因为在QLearning中，我们不知道环境的转换概率吗？
回答：
如果状态和动作空间是有限的，像你的问题一样，Q-learning算法在转换次数接近无穷大时，应该渐进地收敛到最优的效用（也称为Q函数），并且满足以下条件：
,
其中n是转换次数，a是学习率。这些条件要求在学习过程中更新学习率。一个典型的选择可能是使用a_n = 1/n。然而，在实践中，学习率的调度可能需要根据问题进行一些调整。
另一方面，另一个收敛条件是无限次更新所有状态-动作对（在渐进意义上）。这可以通过保持大于零的探索率来实现。
所以，在你的情况下，你需要降低学习率。
