我刚开始学习神经网络，目前主要在跟随D. Kriesel的教程。一开始就介绍了至少三种（不同的？）关于监督学习的学习规则（赫布规则、delta规则、反向传播）。

我可能错过了什么，但如果目标只是最小化误差，为什么不直接对Error(entire_set_of_weights)应用梯度下降呢？

编辑：我必须承认这些答案仍然让我感到困惑。如果有人能指出这些方法之间的实际区别，以及它们与直接梯度下降的区别，那将非常有帮助。

需要强调的是，这些学习规则似乎考虑了网络的分层结构。另一方面，寻找整个权重集的Error(W)的最小值则完全忽略了这一点。这如何契合呢？

回答：

一个问题是如何分配错误的“责任”。经典的Delta规则或LMS规则本质上就是梯度下降。当你将Delta规则应用于多层网络时，你就得到了反向传播。其他的规则出于各种原因被创造出来，包括希望更快的收敛、非监督学习、时间问题、被认为更接近生物学的模型等。

关于你具体的问题“为什么不直接使用梯度下降？”，梯度下降可能对某些问题有效，但许多问题存在局部最小值，简单的梯度下降会陷入其中。最初的应对方法是添加一个“动量”项，这样你可能会“滚出”局部最小值；这基本上就是经典的反向传播算法。