我读了几篇关于时间差分学习的论文和讲座（其中一些与神经网络有关，比如Sutton关于TD-Gammon的教程），但我很难理解其中的方程，这引发了我的问题。

-预测值V_t从何而来？随后，我们如何得到V_(t+1)？

-当TD与神经网络一起使用时，到底是什么在进行反向传播？也就是说，使用TD时，反向传播的误差从何而来？

回答：

前向和后向视角可能会让人感到困惑，但当你处理像游戏程序这样简单的东西时，实际上在实践中事情相当简单。我没有看你所用的参考资料，所以让我提供一个一般的概述。

假设我有一个函数逼近器，比如一个神经网络，它有两个函数，train和predict，分别用于在特定输出上进行训练和预测状态的结果。（或者在给定状态下采取行动的结果。）

假设我有一条玩游戏的轨迹，我使用predict方法在每个点告诉我该采取什么行动，并且假设我在游戏结束时输了（V=0）。假设我的状态是s_1, s_2, s_3…s_n。

蒙特卡洛方法说，我要在轨迹中的每个状态上使用轨迹和最终得分来训练我的函数逼近器（例如我的神经网络）。所以，基于这个轨迹，你会做类似于调用的操作：

train(s_n, 0)train(s_n-1, 0) …train(s_1, 0)。

也就是说，我要求每个状态预测轨迹的最终结果。

动态规划方法说，我根据下一个状态的结果进行训练。所以我的训练会是这样的：

train(s_n, 0)train(s_n-1, test(s_n)) …train(s_1, test(s_2))。

也就是说，我要求函数逼近器预测下一个状态的预测结果，其中最后一个状态预测轨迹的最终结果。

TD学习在这两者之间混合，其中λ=1对应第一种情况（蒙特卡洛），而λ=0对应第二种情况（动态规划）。假设我们使用λ=0.5。那么我们的训练将是：

train(s_n, 0)train(s_n-1, 0.5*0 + 0.5*test(s_n))train(s_n-2, 0.25*0 + 0.25*test(s_n) + 0.5*test(s_n-1)+) …

现在，我在这里写的并不完全正确，因为你实际上不会在每一步重新测试逼近器。相反，你只是从一个预测值开始（在我们的例子中V = 0），然后你用下一个预测值更新它以训练下一步。V = λ·V + (1-λ)·test(s_i)。

这种方法比蒙特卡洛和动态规划方法学得更快，因为你没有要求算法学习如此极端的值。（忽略当前预测或忽略最终结果。）