我正在尝试使用神经网络作为函数近似器来实现估算q*的Episodic Semi-gradient Sarsa算法。我的问题是：在q(S, A, w)中的权重向量w是否指的是神经网络中的权重？
参见： Sutton和Barto 第197/198页，了解具体算法。
如果是：那么如何处理多层神经网络中存在多个权重向量的情况？
如果不是：我该如何在算法中使用它？我建议将它附加到状态s和动作a上，然后输入到神经网络中，以获得选择动作的状态近似。这样做正确吗？
权重向量w的维度是如何确定的？
提前感谢！
回答：
伪代码中的w并不一定只是一个单一的权重向量。章节开头的文本确实几次提到w为“权重向量”，但伪代码本身仅提到w是可微分动作-值函数近似器的参数。神经网络完全符合这一描述。
在神经网络的情况下，你可以将w视为所有权重矩阵的组合（或者，你可以将其视为通过展开所有权重矩阵而构建的一个非常长的向量）。你可以将伪代码中对w进行更新的行视为神经网络中的常规反向传播，优化所有参数w，使预测q(S, A, w)稍微更接近R + gamma*q(S', A', w)。
那行伪代码基本上总结了在w是一个由神经网络的展开权重矩阵组成的巨大向量的情况下，整个反向传播过程。在实践中，它不能用一行代码实现，因为网络早期层的部分导数（那个q的梯度向量的组成部分）依赖于更接近输出层的层的部分导数，所以这些必须按顺序计算（这就是如果你熟悉神经网络所知道的反向传播所做的）。
