我有一个工作正常的反向传播算法，它在对同一个单一输入（例如[1, 0] -> 1）迭代100,000次时，能正确地最小化误差。

但我不确定如何扩展这个算法来训练有多个输入的神经网络。

假设我们希望训练异或函数，它有四种可能的输入和输出状态：

[0, 0] -> 0

[0, 1] -> 1

[1, 0] -> 1

[1, 1] -> 0

我尝试在每次输入-输出测试数据后调用反向传播算法。即使经过大量迭代，网络也完全没有学习到任何东西。

我是否应该在调用反向传播之前，先计算整个训练集（即上述4个案例）的累积误差呢？

在这种情况下，如何存储和使用整个训练集的累积误差呢？

谢谢你。

回答：

在每个示例后更新和累积更新这两种方法都是正确的。它们只是实现了两种略有不同的算法，每步更新会使其成为SGD（随机梯度下降），而另一种是GD（梯度下降）。还可以采取中间方法，即每批数据更新一次。你描述的问题（学习不充分）与更新的时间无关。

请注意，“正确学习”一个样本并不意味着你的算法没有BUG！如果只有一个样本，仅调整最终层的偏置的神经网络应该能够做到这一点，但对于多个样本则会失败。这只是一个例子，说明可能存在问题但通过了你的“单样本测试”。