我已经成功地使用表查找方法实现了SARSA算法（包括一步法和使用资格迹）。本质上，我有一个q值矩阵，每一行对应一个状态，每一列对应一个动作。

类似于：

[Q(s1,a1), Q(s1,a2), Q(s1,a3), Q(s1,a4)][Q(s2,a1), (Q(s2,a2), Q(s2a3), Q(s2, a2]...[Q(sn,a1), Q(sn,a2), Q(sn,a3), Q(sn,a4)]

在每个时间步，我会从矩阵中选择一行，并根据策略选择一个动作，然后根据SARSA规则进行更新。

现在，我正在尝试使用梯度下降将其实现为神经网络。

我的第一个假设是创建一个两层网络，输入层的神经元数量与状态数量相同，输出层的神经元数量与动作数量相同。每个输入都与每个输出完全连接。（所以，实际上它看起来就像上面的矩阵）

我的输入向量将是一个1xn的行向量，其中n是输入神经元的数量。输入向量中的所有值都为0，除了对应当前状态的索引为1。例如：

[0 0 0 1 0 0]

将是处于状态4的代理的输入向量。

因此，过程将类似于：

[0 0 0 1 0 0] X [ 4 7 9 3]                [ 5 3 2 9]                [ 3 5 6 9]                [ 9 3 2 6]                [ 2 5 7 8]                [ 8 2 3 5]

我创建了一个随机的样本权重矩阵。

结果将是：

[9 3 2 6]

这意味着如果选择了贪婪策略，应该选择动作1，并且第四个输入神经元与第一个输出神经元之间的连接应该通过以下方式增强：

dw = dw_old + learning_rate*(reward + discount*network_output - dw_old)

（方程来自SARSA算法）

然而，这种实现方式并未让我信服。根据我所阅读的内容，网络权重应该用于计算状态-动作对的Q值，但我并不确定它们是否应该代表这些值。（特别是因为我通常看到的权重值仅在0到1之间）

有什么建议吗？

回答：

总结：你的当前方法是正确的，除了你不应该将输出值限制在0到1之间。

这个页面有一个很好的解释，我在这里总结一下。它没有专门讨论SARSA，但我认为它所说的一切都应该适用。

结果向量中的值确实应该代表你的神经网络对每个状态相关联的Q值的估计。因此，通常建议你不要将允许值的范围限制在零到一之间（所以只是将值乘以连接权重后求和，而不是使用某种类型的S形激活函数）。

至于如何表示状态，一个选项是根据代理拥有的或理论上可能拥有的传感器来表示它们。例如，在下面的例子中，机器人有三个“触感”传感器，每个传感器可以处于三种状态之一。它们一起为机器人提供了关于它所处状态的所有信息。

然而，如果你想给你的代理提供完美的信息，你可以想象它有一个传感器，可以准确地告诉它处于哪个状态，如这个页面末尾所示。这将完全按照你当前网络的设置方式工作，每个输入代表一个状态。