在线性回归中，我们希望最小化成本函数(S)，即均方误差。

假设我们有一个只包含一个特征和一个目标的数据集。

我们最初使用回归线的形式为 y = α + β*x，其中 α 是偏置，β 是 x 的系数。

通过使用 δS/δα = 0，δS/δβ = 0，我们可以直接推导出 α 和 β 的公式

β = (∑(xi-x̅)*(yi-y̅) )/(∑(xi-x̅)^2)，其中 x̅ 和 y̅ 分别是 x 和 y 的均值

α = y̅ – β*x̅

既然我们可以直接得到最佳拟合曲线的 α 和 β，为什么还需要通过迭代来学习 α 和 β 呢？

回答：

在只有一个（或几个）特征的简单线性回归中，你不需要迭代或梯度下降。你可以直接使用正规方程。然而，当你有许多特征时，这种方法不具备扩展性，因为计算大型矩阵的逆非常耗时。在机器学习中，处理数百甚至数千个特征的问题并不少见。