我想知道大家是否知道sklearn的LinearRegression模块的后端是否使用了不同的方法来计算最优的beta系数。我使用闭式解实现了自己的版本
if self.solver == "Closed Form Solution": ### 最优beta = (XTX)^{-1}XTy XtX = np.transpose(X, axes=None) @ X XtX_inv = np.linalg.inv(XtX) Xty = np.transpose(X, axes=None) @ y_true self.optimal_beta = XtX_inv @ Xty然而，当我打印系数并与sklearn的进行比较时，我没有得到完全匹配的结果。我以为使用闭式解可能会保证相似的结果（我的代码不处理不可逆的情况）。
我注意到均方误差（MSE）相差不大，但这让我怀疑我的实现是否有问题（我考虑了偏差）。
偏差似乎出现在截距上：
SKLEARN INTERCEPT 1.2490009027033011e-15HN INTERCEPT 4.440892098500626e-16First Value HN 183.22200150945497First Value SKLEARN 183.22200150945548HN MSE 3.1084228599404546e-27SKLEARN MSE 2.126667544039961e-25回答：
这些数值在10^-15的数量级上，这意味着它们实际上是0，并且是相同的！
至于为什么会有差异：您是通过直接求逆X.T @ X矩阵来解决正常方程的。另一方面，scikit-learn在后台使用scipy.linalg.lstsq例如使用基于SVD的方法。也就是说，那里的机制不求逆矩阵，因此与您的不同。请注意，解决线性最小二乘问题的方法有很多种。
但是我们可以说，您得到的结果与他们的方式是相同的，因为这些矩阵运算无论如何都会受到舍入误差的影响，而您的结果与他们的“匹配”（反之亦然）在许多有效数字上。
