我对神经网络是新手，想了解什么时候应该降低学习率而不是批量大小。

我理解如果学习过程出现发散，学习率就需要降低。

然而，什么时候我应该减少或增加批量大小呢？我猜如果损失值波动太大，降低批量大小会比较理想？

回答：

如果你增加批量大小，梯度更有可能指向正确的方向，从而使（整体）误差减少。特别是与仅考虑单个样本后更新权重相比，后者会导致非常随机和嘈杂的梯度。

因此，如果损失函数波动，你可以同时进行：增加批量大小和降低学习率。较大批量大小的缺点是每次更新的计算成本更高。所以如果训练时间过长，可以看看是否用较小的批量大小仍然能收敛。

你可以在这里阅读更多信息：这里或这里。（顺便说一下，https://stats.stackexchange.com/ 更适合那些不包含具体代码实现的理论问题）