我的使用梯度下降的SARSA算法导致权重呈指数级增长。在第4集的第17步时，数值已经变成了nan
Exception: Qa is nan例如：
6) Qa:Qa = -2.00890180632e+3037) NEXT Qa:Next Qa with west = -2.28577776413e+3038) THETA:1.78032402991e+303 <= -0.1 + (0.1 * -2.28577776413e+303) - -2.00890180632e+3039) WEIGHTS (sample)5.18266630725e+302 <= -1.58305782482e+301 + (0.3 * 1.78032402991e+303 * 1)我不知道该从哪里找出我的错误。以下是一些代码，供参考：
def getTheta(self, reward, Qa, QaNext): """ let t = r + yQw(s',a') - Qw(s,a) """ theta = reward + (self.gamma * QaNext) - Qadef updateWeights(self, Fsa, theta): """ wi <- wi + alpha * theta * Fi(s,a) """ for i, w in enumerate(self.weights): self.weights[i] += (self.alpha * theta * Fsa[i])我大约有183个二进制特征。
回答：
你需要在每次试验中进行归一化。这将使权重保持在一个有界范围内（例如[0,1]）。你每次增加权重的方式，只会使权重增长，并且在第一次试验后就变得毫无用处。
我会这样做：
self.weights[i] += (self.alpha * theta * Fsa[i])normalize(self.weights[i],wmin,wmax)或者参考以下示例（来自强化学习文献）：
不过，你需要自己编写归一化函数；）
