在最近参加的一些机器学习课程中，我学习了使用梯度下降法来找到线性回归的最佳拟合线。

在一些统计学课程中，我了解到我们可以通过统计分析，使用均值和标准差来计算这条线 – 此页面详细介绍了这种方法。为什么这种看似更简单的技术在机器学习中不被使用呢？

我的问题是，梯度下降法是拟合线性模型的首选方法吗？如果是，为什么？还是教授只是在更简单的环境中使用梯度下降法来向班级介绍这种技术？

回答：

你给出的例子是一维的，这在机器学习中通常不是情况，你通常会有多个输入特征。在这种情况下，你需要使用他们的简单方法来求逆矩阵，这可能很困难或条件不佳。

通常问题被表述为最小二乘问题，这稍微容易一些。有标准的最小二乘求解器可以代替梯度下降法使用（而且经常使用）。如果数据点的数量非常多，使用标准的最小二乘求解器可能成本太高，而（随机）梯度下降法可能会给你一个在测试集误差方面与更精确的解同样好的解，同时运行时间要小几个数量级（参见Leon Bottou的这篇很棒的章节）

如果你的问题足够小，可以通过现成的最小二乘求解器高效解决，你可能不应该使用梯度下降法。