从许多博客以及这个博客 https://web.archive.org/web/20160308070346/http://mcts.ai/about/index.html我们知道MCTS算法的过程有4个步骤。
- 选择：从根节点R开始，递归选择最优子节点，直到到达叶节点L。
这里的叶节点L是什么意思？我以为它应该是一个代表游戏终止状态的节点，或者是结束游戏的另一个词。如果L不是终止节点（游戏的一种结束状态），我们如何决定选择步骤在节点L上停止？
- 扩展：如果L不是终止节点（即它不结束游戏），那么创建一个或多个子节点并选择一个C。
从这个描述中我意识到我之前的想法显然是错误的。那么如果L不是终止节点，这意味着L应该有子节点，为什么不在“选择”步骤中继续从L找到一个子节点？在这一步我们有L的子节点列表吗？
从这一步的描述本身来看，我们什么时候创建一个子节点，什么时候需要创建多个子节点？我们根据什么规则/政策选择节点C？
- 模拟：从C开始运行模拟游戏，直到获得结果。
由于第一个问题的困惑，我完全无法理解为什么我们需要模拟游戏。我以为从选择步骤开始，我们可以到达终止节点，并且游戏应该在这个路径上的节点L结束。我们甚至不需要进行“扩展”，因为节点L是终止节点。
- 回溯：用模拟结果更新当前移动序列。
好的。最后一个问题，你从哪里得到这些问题的答案？
谢谢
顺便说一下，我也在https://ai.stackexchange.com/questions/16606/how-to-understand-the-4-steps-of-monte-carlo-tree-search发布了相同的问题
回答：
这里的叶节点L是什么意思？
为了解释，我假设在算法的扩展阶段添加了所选节点的所有子节点。
当算法开始时，树仅由根节点（一个叶节点）组成。
扩展阶段添加从树根可达的所有状态。现在你有一个更大的树，其中叶子是最后添加的节点（根节点不再是叶子）。
在算法的任何一次迭代中，树（图片中的灰色区域）都在增长。它的某些叶子可能是终止状态（根据游戏/问题的规则），但这不是保证的。
如果扩展过多，你可能会耗尽内存。因此，扩展阶段的典型实现只向现有树添加一个节点。
在这种情况下，你可以用未完全扩展替换叶这个词：
从根节点R开始，递归选择最优子节点，直到到达一个未完全扩展的节点L
我们根据什么规则/政策选择节点C？
这取决于领域。通常你会随机选择一个移动/状态。
备注
- 图片来自Multi-Objective Monte Carlo Tree Search for Real-Time Games（Diego Perez, Sanaz Mostaghim, Spyridon Samothrakis, Simon M. Lucas）。
