在Andrew Ng的拟合值迭代算法中，我提供了以下详细步骤，该算法会在第3步尝试找到状态s(i)的最佳行动。当智能体处于s(i)时，我们执行可能的行动a(1)，然后转移到s(i)’。

我的问题是，我们如何能再次回到s(i)并执行第二个可能的行动a(2)？假设我们使用这个算法来控制一架直升机，我认为我们无法轻易地将状态恢复原状。

算法

1. 随机抽样m个状态 s(1), s(2), . . . s(m) ∈ S.
2. 初始化 θ := 0.
3. 重复 {
    对于 i = 1, . . . , m {
        对于每个行动 a ∈ A {
            抽样 s′ 1, . . . , s′ k ∼ Ps(i)a (使用MDP的模型)。
            设置 q(a) = k1 Pk j=1 R(s(i)) + γV (s′ j)
            // 因此，q(a) 是对 R(s(i))+γEs′∼P s(i)a[V (s′)] 的估计。
        }
        设置 y(i) = maxa q(a)。
        // 因此，y(i) 是对 R(s(i))+γ maxa Es′∼P s(i)a[V (s′)] 的估计。
   }
   // 在原始的值迭代算法中（针对离散状态）
   // 我们根据 V (s(i)) := y(i) 更新值函数。
   // 在这个算法中，我们希望 V (s(i)) ≈ y(i)，我们将通过
   // 使用监督学习（线性回归）来实现。
   设置 θ := arg minθ 1 2 Pm i=1 θT φ(s(i)) − y(i)2
}

回答：

请注意，您所提到的算法，在第4.2.2节中描述，是属于“父”章节4.2. 值函数近似的一部分。而第一节是4.2.1 使用模型或模拟。

在第一节中，我们可以读到：

为了开发一个值函数近似算法，我们将假设我们有一个模型或模拟器，用于MDP。从非正式的角度来说，模拟器是一个黑盒，它接收任何（连续值的）状态s_t和行动a_t作为输入，并根据状态转移概率P_{s_t, a_t}输出下一个状态s_{t+1}的抽样结果。

因此，该算法假设您可以使用模型/模拟器来模拟对同一状态应用所有可能的行动。正如您所注意到的那样，如果您有一个真实环境（即，不是模型也不是模拟器），比如直升机，就不可能对同一状态应用多个行动，因为在应用行动后状态会发生变化。