我目前正在从头开始构建一个神经网络，并且已经成功使用MNIST数据集使其在测试图像上的准确率达到了大约80%。达到这个准确率需要一些时间，所以我正在尝试实现带动量的梯度下降。当前的代码是：
def backProp(self, inputs, correct_output): self.outputLayerErrors = np.subtract(self.outputNeurons, correct_output) self.hiddenLayerErrors = np.multiply(np.dot(self.secondLayerWeights.T, self.secondLayerBiasesSummations = self.beta*self.secondLayerBiasesSummations + (1-self.beta)*self.outputLayerErrors self.secondLayerWeightsSummations = self.beta*self.secondLayerWeightsSummations + (1-self.beta)*np.outer(self.outputLayerErrors, self.secondLayerNeurons) self.firstLayerBiasesSummations = self.beta*self.firstLayerBiasesSummations + (1-self.beta)*self.hiddenLayerErrors self.firstLayerWeightsSummations = self.beta*self.firstLayerWeightsSummations + (1-self.beta)*np.outer(self.hiddenLayerErrors, inputs)def change(self): self.secondLayerBiases -= self.learningRate * self.secondLayerBiasesSummations self.secondLayerWeights -= self.learningRate * self.secondLayerWeightsSummations self.firstLayerBiases -= self.learningRate * self.firstLayerBiasesSummations self.firstLayerWeights -= self.learningRate * self.firstLayerWeightsSummationsbeta值设为0.9，学习率设为0.1。我的常规梯度下降法使用0.0001的学习率，但带动量的梯度下降法只能在0.1的学习率下运行，并且在准确率和速度方面都比常规梯度下降法差。请问我的代码或数学计算是否有问题？
回答：
要添加动量，你可以记录每个权重和偏置的所有梯度，然后将它们添加到下一次更新中。如果你的添加动量的方式有效，那么似乎过去的更新都被平等地加到了当前更新中，第一个梯度仍然会在训练1000次迭代后稍微影响更新。self.weights -= self.learningRate*(currentGradient+sum([grad*(self.beta**t) for t, grad in enumerate(reversed(self.pastGradients))])
这通常是动量的样子，其中t代表时间。你将beta提高到t次方，因此旧的梯度对更新的影响小于最近的梯度。
