我的使用梯度下降的SARSA算法导致权重呈指数级增长。在第4集的第17步时，数值已经变成了nan

Exception: Qa is nan

例如：

6) Qa:Qa = -2.00890180632e+3037) NEXT Qa:Next Qa with west = -2.28577776413e+3038) THETA:1.78032402991e+303 <= -0.1 + (0.1 * -2.28577776413e+303) - -2.00890180632e+3039) WEIGHTS (sample)5.18266630725e+302 <= -1.58305782482e+301 + (0.3 * 1.78032402991e+303 * 1)

我不知道该从哪里找出我的错误。以下是一些代码，供参考：

def getTheta(self, reward, Qa, QaNext):    """ let t = r + yQw(s',a') - Qw(s,a) """    theta = reward + (self.gamma * QaNext) - Qadef updateWeights(self, Fsa, theta):    """ wi <- wi + alpha * theta * Fi(s,a) """    for i, w in enumerate(self.weights):        self.weights[i] += (self.alpha * theta * Fsa[i])

我大约有183个二进制特征。

回答：

你需要在每次试验中进行归一化。这将使权重保持在一个有界范围内（例如[0,1]）。你每次增加权重的方式，只会使权重增长，并且在第一次试验后就变得毫无用处。

我会这样做：

self.weights[i] += (self.alpha * theta * Fsa[i])normalize(self.weights[i],wmin,wmax)

或者参考以下示例（来自强化学习文献）：

不过，你需要自己编写归一化函数；）