我在进行多特征的线性回归。我决定使用正规方程法来寻找线性模型的系数。如果我们对多变量的线性回归使用梯度下降法，我们通常会进行特征缩放以加速梯度下降的收敛。现在，我将使用正规方程公式：
我有两个相互矛盾的信息来源。第一个来源称，正规方程不需要特征缩放。另一个来源则表示必须进行特征归一化。来源如下：
http://puriney.github.io/numb/2013/07/06/normal-equations-gradient-descent-and-linear-regression/
在这两篇文章的结尾提到了正规方程中的特征缩放信息。
问题是，在进行正规方程分析之前是否需要进行特征缩放？
回答：
从理论上讲，你确实可能不需要缩放特征，并且你可以在“一步”内得到解决方案。然而，在实践中，情况可能会有所不同。
请注意你公式中的矩阵求逆。矩阵求逆并不是一个简单的计算操作。实际上，有一个衡量矩阵求逆难度的指标（以及执行其他计算），称为条件数：
如果条件数不太大于一（但仍然可以是一的倍数），则矩阵是良态的，这意味着可以以良好的精度计算其逆。如果条件数非常大，则称该矩阵为病态。实际上，这样的矩阵几乎是奇异的，计算其逆或解线性方程组容易产生大的数值误差。不可逆的矩阵的条件数等于无穷大。
附注：大的条件数实际上是减缓梯度下降收敛速度的相同问题。
