TD(0) Q-学习的更新规则：

Q(t-1) = (1-alpha) * Q(t-1) + (alpha) * (Reward(t-1) + gamma* Max( Q(t) ) )
然后选择当前最佳动作（为了优化）或者一个随机动作（为了探索）

其中 MaxNextQ 是在下一个状态可以获得的最大 Q 值…

但是在 TD(1) 中，我认为更新规则将会是：

Q(t-2) = (1-alpha) * Q(t-2) + (alpha) * (Reward(t-2) + gamma * Reward(t-1) + gamma * gamma * Max( Q(t) ) )

我的问题：
gamma * Reward(t-1) 这一项意味着我总会在 t-1 时采取最佳动作… 我认为这会阻止探索。
谁能给我一些提示吗？

谢谢

回答：

你是在讨论“资格迹”的使用，对吗？请看公式和算法。

注意那里的 e_t(s, a) 方程。在使用探索步骤时不会施加惩罚。