我计划自己编写一个C++的神经网络库，我正在查看其他人的代码以确保我的方向正确… 下面是一个我试图学习的样本代码。

代码中的一切都很合理，除了梯度下降部分，他直接通过加上正的学习率来更新权重… 我们不应该取梯度的负值来达到最优解吗？

行号：137 – 157。

double Neuron::eta = 0.10;void Neuron::updateInputWeights(Layer &prevLayer){    // 要更新的权重位于前一层神经元的Connection容器中    for(unsigned n = 0; n < prevLayer.size(); ++n)    {        Neuron &neuron = prevLayer[n];        double oldDeltaWeight = neuron.m_outputWeights[m_myIndex].deltaWeight;        double newDeltaWeight =                 // 单个输入，通过梯度和训练率放大：                eta                * neuron.getOutputVal()                * m_gradient                // 还加上动量 = 前一个delta weight的一部分                + alpha                * oldDeltaWeight;// 更新权重        neuron.m_outputWeights[m_myIndex].deltaWeight = newDeltaWeight;        neuron.m_outputWeights[m_myIndex].weight += newDeltaWeight;    }}

这里所有的操作都是在为权重更新添加内容，没有负号在其中。

https://github.com/huangzehao/SimpleNeuralNetwork/blob/master/src/neural-net.cpp

好消息是它运行得很好，这让我觉得很奇怪….

我向我认识的所有人问了这个问题，他们都感到困惑。

这是创建神经网络库的视频表示… 与上面的代码相同。

https://vimeo.com/19569529

回答：

是的，这确实令人困惑，但我认为关键在于这一行。（我可能错了，但如果你说训练有效，那么唯一可能改变符号的行应该是这一行。）

eta * neuron.getOutputVal() * m_gradient

其中neuron.getOutputVal()提供了更新的方向。