我想创建一个简单的神经网络，在学习过程中，我接触到了一个叫做Gradient Descent的概念。它的解释是这样的：
想象在一个圆形桶里有一个红球，再想象这个红球试图找到桶的底部。这就是优化过程。
我使用了这个教程：
http://iamtrask.github.io/2015/07/27/python-network-part2/
但我不明白优化何时发生。梯度下降何时发生，最重要的是，它与圆形桶的例子有什么关系？
这个网站还有另一个教程（基础方法）：
http://iamtrask.github.io/2015/07/12/basic-python-network/
根据这个网站，这个教程不是梯度下降法，但第二个教程与第一个相同，并且被称为梯度下降法。我无法理解这两者的区别。
回答：
但我不明白优化何时发生。梯度下降何时发生，最重要的是，它与圆形桶的例子有什么关系？
对于所有机器学习问题，你都有一个损失函数。离理想解越远，损失就越大。例如，在分类问题中，你可以计算当前分类器的错误。你可以将错误作为一个简单的损失函数。你的分类器犯的错误越多，它就越差。
现在你的模型有参数。我们称这些参数为“权重”w。如果你有n个这样的参数，你可以写成w \in R^n。
对于每一组权重w，你可以为其分配一个错误。如果n=2，你可以绘制这个错误函数的图表。它可能看起来像这样：
xy平面上的每个位置是一组参数。z方向上的点是错误。你希望最小化错误。因此，你的优化问题是一个最小化问题。你希望在这个碗中向下移动。你不知道它是一个碗，这只是一个可视化。但通过查看梯度，你可以计算出哪个方向会减少错误。因此称为梯度下降。通过优化权重来减少错误。
通常，你的n不是2，而是100 * 10^6或类似的数值。
Alec Redford 为不同类型的梯度下降过程制作了一些很棒的可视化图表：
