我有以下X和y矩阵:
我想使用标准方程方法计算线性回归方程中theta的最佳值，公式如下:
theta = inv(X^T * X) * X^T * y
theta的结果应该是：[188.400,0.3866,-56.128,-92.967,-3.737]
我使用以下步骤实现:
X=np.matrix([[1,1,1,1],[2104,1416,1534,852],[5,3,3,2],[1,2,2,1],[45,41,30,36]])y=np.matrix([460,232,315,178])XT=np.transpose(X)XTX=XT.dot(X)inv=np.linalg.inv(XTX)inv_XT=inv.dot(XT)theta=inv_XT.dot(y)print(theta)但我没有得到期望的结果。相反，它抛出了一个错误:
Traceback (most recent call last): File “C:/”, line 19, in theta=inv_XT.dot(y) ValueError: shapes (4,5) and (1,4) not aligned: 5 (dim 1) != 1 (dim 0)
我做错了什么?
回答：
我通过使用numpy.linalg.pinv()解决了这个问题，这是矩阵求逆的“伪逆”方法，而不是使用numpy.linalg.inv()，因为文档中提到:
“矩阵A的伪逆，记为A^+，定义为：’解[最小二乘问题]Ax = b的矩阵’，即，如果\bar{x}是该解，那么A^+就是使得\bar{x} = A^+b的矩阵。”
而解决最小二乘问题正是我在线性回归的背景下想要实现的目标。
因此，代码变为:
X=np.matrix([[1,2104,5,1,45],[1,1416,3,2,40],[1,1534,3,2,30],[1,852,2,1,36]])y=np.matrix([[460],[232],[315],[178]])XT=X.TXTX=XT@Xinv=np.linalg.pinv(XTX)theta=(inv@XT)@yprint(theta)[[188.40031946] [ 0.3866255 ] [-56.13824955] [-92.9672536 ] [ -3.73781915]]编辑: 还有通过改变标准方程来使用正则化来解决不可逆问题的方法:
theta = (XT@X + lambda*matrix)^(-1)@XT@y，其中lambda是一个实数，称为正则化参数，而matrix是一个(n+1 x n+1)维度的矩阵，形状如下:
0 0 0 0 ... 0 0 0 1 0 0 ... 0 0 0 0 1 0 ... 0 0 0 0 0 1 ... 0 0 . . . 0 0 0 0 0 0 0 1这是一个eye()矩阵，其中元素[0,0]设置为0
关于正则化的更多信息可以阅读这里
