我有三个点：(1,1), (2,3), (3, 3.123)。我假设假设是 ，我想对这三个点进行线性回归。我有两种方法来计算θ：

方法一：最小二乘法

import numpy as np# 使用最小二乘法获取近似解X = np.array([[1,1],[2,1],[3,1]])y = np.array([1,3,3.123])theta = np.linalg.lstsq(X,y)[0]print theta

方法二：矩阵乘法

我们有以下推导过程：

# rank(X)=2, rank(X|y)=3, 因此没有精确解。print np.linalg.matrix_rank(X)print np.linalg.matrix_rank(np.c_[X,y])theta = np.linalg.inv(X.T.dot(X)).dot(X.T.dot(y))print theta

方法一和方法二都能得到结果 [ 1.0615 0.25133333]，看起来方法二等同于最小二乘法。但我不明白其中的原因，有人能揭示它们等价的根本原理吗？

回答：

这两种方法是等价的，因为最小二乘法是 θ = argmin (Xθ-Y)'(Xθ-Y) = argmin ||(Xθ-Y)||^2 = argmin ||(Xθ-Y)||，这意味着你试图最小化向量 (Xθ-Y) 的长度，因此你试图最小化 Xθ 和 Y 之间的距离。X 是一个常数矩阵，所以 Xθ 是 X 的列空间中的向量。这意味着这两个向量之间的最短距离是当 Xθ 等于 Y 向量投影到 X 的列空间时（从图中可以很容易观察到）。这导致 Y^(hat) = Xθ = X(X’X)^(-1)X’Y，其中 X(X’X)^(-1)X’ 是投影到 X 的列空间的投影矩阵。经过一些变换后，你可以观察到这与 (X’X)θ = X’y 是等价的。你可以在任何线性代数书籍中找到确切的证明。