我在研究这个SARSA-Lambda的实现（即带有资格迹的SARSA），但有一个细节我仍然不明白。
（图片来自 http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node77.html）
我明白所有的Q(s,a)都会被更新，而不仅仅是代理在给定时间步选择的那个。我也明白E矩阵在每个情节开始时不会被重置。
假设一下，图7.12的第三个面板是第一情节的结束状态。
在第二情节开始时，代理选择向北移动而不是向东，假设这会得到-500的奖励。这不会也影响到之前情节中访问过的所有状态吗？
如果目的是奖励在当前情节中被访问过的状态，那么为什么不将包含所有e(s,a)值的矩阵在每个情节开始时重置呢？这种实现方式似乎是让之前情节中访问过的状态因为代理在新情节中的行动而受到“惩罚”或“奖励”。
回答：
我完全同意你的观点。在每个情节开始时没有重置e矩阵确实会导致你描述的问题。据我所知，这是伪代码中的一个错误。你引用的参考文献非常流行，所以这个错误已经被传播到许多其他参考文献中。然而，这篇被广泛引用的论文非常明确地指出，e矩阵应该在各情节之间重新初始化：
资格迹被初始化为零，在情节任务中，每个情节结束后它们被重新初始化为零。
作为进一步的证据，这篇论文的方法部分指出：
在每个情节开始时，迹e被设置为0。
以及这篇论文的脚注#3指出：
…资格迹在每个试验开始时被重置为零。
这些都表明这是一种常见做法，因为它们都提到了情节之间的重新初始化。我预计会有更多这样的例子。
在实践中，许多使用这种算法的情况并不涉及多个情节，或者情节相对其衰减率来说非常长，因此这不会成为问题。我认为这就是为什么在互联网上的其他地方没有更明确地澄清这一点的原因。
