我开始尝试强化学习（使用 Sutton 的书）。 我未能完全理解的是，在必须减少马尔可夫状态空间，而另一方面又不对什么重要，什么不重要做出假设之间的悖论。

背景

例如，在跳棋的例子中，Sutton 说不应该对游戏中某些动作赋予奖励，例如击败对手的棋子。他声称这可能会优化 AI 来吃子而不是赢得比赛。因此，奖励应该只给予你想要实现的结果（例如赢得比赛）。

问题 1

假设一个（德州扑克）扑克 AI，其马尔可夫状态仅为玩家的手牌和牌桌上的牌。这大约有 52*51*50*49*48*47*46/1*2*3*4*5*6*7 种状态。现在假设我们希望 AI 将玩家的资金池 + 他们的赌注纳入考虑范围。如果我们假设有 8 个玩家，每个玩家的资金在 1-200,000 美元之间，这将使马尔可夫状态空间接近“无限数量的组合”。

问题 2

一种减少状态的策略可能是将玩家的现金分为贫穷、中等或富有。这严重减少了我们的状态空间，但是，我如何知道 a) 3 个组是否足够？ b) 每组的区分界限是什么？

谢谢！

回答：

一种用于减少 RL 中的状态空间的提议方法是使用状态-动作分层结构。您不是拥有单个状态变量 X，而是将其分解为更小的变量，例如，x1、x2、x3。然后，您测量它们的转换频率并确定它们之间的依赖关系（例如，x1 通常在 x2=abc 时改变）。然后，您可以制定一个策略，解释如何最好地转换变化更快的变量，以便改变变化较慢的变量，从而最大化奖励。

这种方法仍然相对较新，而且我不知道有任何公开的实现。但是，有一些论文提出了可能的实现方案。 MAXQ 算法 假设了一个人为定义的分层结构，而 HEXQ 算法 描述了一种学习分层结构以及策略的方法。