我正在尝试Q-learning算法。我已经阅读了不同的资料并理解了该算法，然而，似乎没有明确的、数学上支持的收敛标准。
大多数资料建议迭代多次（例如，N = 1000），而其他资料则说当所有状态和动作对(s, a)被无限次访问时就达到了收敛。但问题是，无限次到底是多少。对于想要手动解决算法的人来说，最好的标准是什么？
如果有人能在这方面指导我，我将不胜感激。我也希望能看到相关的文章。
此致敬礼。
回答：
Q-Learning是强化学习中的一个重大突破，因为它是第一个保证收敛到最优策略的算法。它最初在(Watkins, 1989)中提出，其收敛证明在(Watkins & Dayan, 1992)中得到了完善。
简而言之，要保证在极限情况下收敛，即策略在任意长的时间后会变得任意接近最优策略，必须满足两个条件。请注意，这些条件并没有说明策略接近最优策略的速度有多快。
- 学习率必须趋近于零，但不能太快。 正式地，这要求学习率的总和必须发散，但其平方的总和必须收敛。一个具有这些属性的序列示例是
1/1, 1/2, 1/3, 1/4, ... - 每个状态-动作对必须被无限次访问。 这有一个精确的数学定义：在每个状态下，每个动作被策略选择的概率必须非零，即
π(s, a) > 0对所有(s, a)成立。在实践中，使用ε-贪婪策略（其中ε > 0）可以确保满足这一条件。
