机器学习中的配方法

我在多元分析中遇到一个关于配方法的问题，无法解决。

回答：

提示使得问题变得更加困难，否则这只是一个机械化的工作，展开乘积，替换$\hat w$的定义并比较各项。

我很难识别正确的替代方法，不过这是一个很好的练习。

需要注意的是，提示中有一个错误，第一项应该是小写的$x$，而不是$X$。

证明 $||X’ W – y||^2 = (w – \hat w)X’ X (w – \hat w) + ||X’ \hat w – y||^2$

其中

$\hat w = (X’ X)^{-1} X y$

提示：

$x^T M x – 2b’x = (x – M^{-1}b)’M(x – M^{-1}b) – b’M^{-1}b$对于任意向量$x$和$b$，以及对称矩阵$M$，将范数表示为矩阵乘积 $||z||^2 = z’z$

$(X’ w – y)'(X’ W – y) = (w – \hat w)X’ X (w – \hat w) + (X’ \hat w – y)'(X’ \hat w – y)$

展开范数中的乘积并减去$y’y$

$$wX’Xw – w’Xy – y’X’w = (w – \hat w)X’ X (w – \hat w) + \hat w X’X\hat w – \hat w’Xy – y’X’\hat w$$

维度为$1 \times 1$的项显然是对称的 $w’Xy = y’Xw$，以及 $\hat w’ X y = y’ X \hat w$

$$wX’Xw – 2w’Xy = (w – \hat w)X’ X (w – \hat w) + \hat w X’X\hat w – 2 \hat w’Xy$$

然后我们需要识别（可能需要几个小时）$b = Xy$，$x=w$ 和 $M = (X’X)$，因此 $\hat w = M^{-1} b$

因此$$ x M x – 2(x – M^1b)b = (x – M^{-1}b)M(x – M^{-1}b) + b’M^{-1}MM^{-1}b – 2 b’ M^{-1} b $$

简化乘积 $M^{-1}MM^{-1}$，然后将 $b’M^{-1} b$ 的项分组，原来的 $\hat{w} X’ X \hat w – 2\hat w’ X y$ 我们转换为提示的公式

$$ x M x – 2(x – M^1b)b = (x – M^{-1}b)M(x – M^{-1}b) – b’M^{-1}MM^{-1}b$$

学技术