我一直在研究分层强化学习问题，虽然很多论文都提出了有趣的策略学习方法，但它们似乎都假设事先知道描述域中动作的图结构。例如，Dietterich 的 用于分层强化学习的 MAXQ 方法描述了一个简单的出租车域中动作和子任务的复杂图，但没有说明如何发现这个图。如何学习这个图的层次结构，而不仅仅是策略？

回答：

在 Dietterich 的 MAXQ 中，该图是手动构建的。它被认为是系统设计师的任务，就像提出表示空间和奖励函数一样。

根据您想要实现的目标，您可能希望自动分解状态空间，学习相关特征，或将经验从简单任务转移到更复杂的任务。

我建议您从阅读引用您链接的 MAXQ 论文的论文开始。在不知道您究竟想实现什么的情况下，我无法给出太多指导（而且我并不真正了解当前所有的 RL 研究），但您可能会在 Luo、Bell & McCollum 的工作或 Madden & Howley 的论文中找到相关的想法。