我正在尝试将UNO纸牌游戏建模为部分可观察马尔可夫决策过程(POMDP)。我做了一些研究，得出结论，状态将是卡片的数量，动作将是玩牌或从未见过的牌堆中抽牌。我在制定状态转换和观察模型方面遇到了困难。我认为，观察模型将取决于过去的动作和观察（历史），但为此我需要放宽马尔可夫假设。我想知道放宽马尔可夫假设是否是一个更好的选择？此外，我应该如何具体形成状态和观察模型。提前感谢。

回答：

我认为在POMDP中，状态仍然应该是“完全真相”（所有卡片的位置），而转换只是游戏规则（包括其他玩家的策略？！）。观察当然不应该依赖于任何历史，仅依赖于状态，否则你就违反了马尔可夫假设。POMDP的要点是，代理可以通过分析历史来获取关于当前状态的信息。不过，我不太确定这是否以及如何适用于UNO。如果你知道哪些卡片被打出以及它们的顺序，你还能通过使用历史来获取信息吗？可能不能。不知道，但也许将这个游戏视为POMDP并不合理，即使你使用的是为POMDP设计的解决方案。