你好，

我正在尝试编写一个程序，在一个包含一个y输出和多个x输入的样本数据集上执行梯度下降算法。我不想让用户设定基于误差更新系数的“轮次”数量，而是希望迭代地测试更新后的误差与旧误差的差异，并在差异水平低于某个容忍度（可能由用户设定）时停止函数。我这样做对吗？如果是对的，那么量化旧误差和新误差之间差异的最佳方法是什么？

顺便说一下，我正在参加一个关于Python数据编程的课程。

任何建议都将不胜感激。

谢谢

回答：

我想指出的是：

当你使用小批量梯度下降、随机梯度下降或其他依赖于批量大小的算法进行优化时，训练误差在每次迭代后通常是不稳定的。因此，你的方法可能会导致提前停止或无限循环。

然而，如果你使用批量梯度下降，我认为你的方法可能会奏效。

编辑：

随机GD意味着你每次只计算一个样本的误差和梯度，而在批量GD中，你计算训练集中每个样本的误差和梯度。

批量GD的缺点是你需要反复计算整个训练集的梯度（想象一下当你有数百万个训练样本时）。

关于你的f值：我认为你可能会陷入鞍点（你的函数在这里是平坦的）。https://en.wikipedia.org/wiki/Saddle_point

然而，如果你仍然想实施这种方法，我认为你的“新”误差（或新f值）应该在“旧”误差之后的10或20步。