我正在使用一个多层神经网络。我打算进行小批量梯度下降。假设我有100个样本的小批量，共100万个数据点。我不明白如何更新整个网络的权重。当我对这100个样本进行前向传递时，我会将这100个样本的误差全部相加。除了这个步骤，我还需要做些什么？我是否需要同时计算隐藏层的误差？这些误差会在什么时候计算？

回答：

神经网络中的批量学习

你需要为网络中所有层中的每个神经元计算权重增量，对于你（选择的）数据集中的每个数据实例。这与反向传播中的常规程序相同。

由于你希望使用批量学习，你将延迟权重更新步骤。相反，你应该存储这些增量，并在批处理完成后将批处理中不同实例的增量相加。然后使用这些新调整的增量来更新网络中的权重。