最近我研究了反向传播网络，并做了一些手动练习。之后，我想到一个问题（可能不太合理）：以下两种不同的替换方法是否有什么重要区别：1. 增量训练：一旦所有delta Wij都已知，权重会立即更新，并且在呈现下一个训练向量之前。2. 批量训练：每个示例训练向量计算并存储delta Wij。然而，delta Wij不会立即用于更新权重。权重更新在训练周期结束时进行。

我已经搜索了一段时间但没有找到任何结果。

回答：

所以您提到的是进行梯度下降学习的两种模式。在批量模式下，对权重矩阵的更改会在整个训练数据集的一次展示中累积（一个“周期”）；在线训练会在展示每个构成训练集的向量后更新权重。

我认为共识是，在线训练更优，因为它收敛得更快（大多数研究报告在准确性上没有明显差异）。（例如，参见Randall Wilson & Tony Martinez的《批量训练在梯度下降学习中的普遍低效性》，发表于《神经网络》（2003年）。

在线训练收敛更快的原因是它可以在每个周期内跟随误差表面的曲线。这样做的实际意义是您可以使用更大的学习率（因此可以用更少的周期通过训练数据来收敛）。

换句话说，批量训练的累积权重变化随着训练集的大小增加。结果是批量训练在每次迭代中使用大步长，因此会错过误差空间拓扑中的局部最小值——您的求解器会振荡而不是收敛。

批量训练通常是“默认”的（在机器学习教科书中最常用等），只要它在您可接受的时间限制内收敛，使用它并没有错。再说一次，性能差异（分辨率或分类准确性）很小或可以忽略不计。