我编写了两个代码实现来计算正则化逻辑回归算法的梯度增量,输入包括一个表示值n+1的标量变量n1,大小为n+1的列向量theta,大小为[m x (n+1)]的矩阵X,大小为m的列向量y以及一个标量因子lambda。
第一个代码计算成功,第二个代码输出错误结果。我认为这两个实现做的是同样的事情,它们怎么会输出不同的结果呢?
%correcttmp = zeros(n1, 1);tmp(2:n1,:) = (lambda / m) * theta(2:n1);grad = (1 / m) * (X' * (sigmoid(X * theta) - y)) + tmp;%wronggrad(1,:) = (1 / m) * (X(:,1)' * (sigmoid(X(:,1) * theta(1,:)) - y));grad(2:n1,:) = (1 / m) * (X(:,2:n1)' * (sigmoid(X(:,2:n1) * theta(2:n1,:)) - y)) + ((lambda / m) * theta(2:n1));
其中sigmoid(z)返回g如下所示:
g = zeros(size(z));g = 1 ./ (1 + exp( -z ));
回答:
问题出在矩阵乘法上。
首先假设,m = 5 且 n1 = 5,这意味着X是一个5*5的矩阵,theta和y都是5个元素的向量。
现在在第一种情况下,sigmoid函数提供一个5*5的矩阵,X的转置也是5*5。由于这是矩阵乘法,X’的第一行与g的第一列相乘,这意味着你需要所有的g值来计算grad的第一行。
现在在第二种情况下,对于grad的第一行,sigmoid函数也提供一个5*5的矩阵,但它不同,因为现在X是一个1*5的矩阵。这意味着矩阵乘法将提供不同的输出,因此结果不同。
希望现在已经清楚了。
**之前我在写答案时假设theta和y是行向量,但在你的例子中你明确提到你使用的是列向量。然而,矩阵乘法仍然是问题所在。如果你对矩阵乘法有清晰的理解,那么你会很容易理解这个问题。
让我们从正确的方程开始,
( X * theta) – y = m*1矩阵,因此sigmoid是m*1矩阵。
X’ * sigmoid 是这里的主要部分,因为其他两个项是标量,X’ * sigmoid = m*1矩阵,最终你的grad是m*1矩阵。
如果你仔细观察,grad(1,1)依赖于X'(1,:)和sigmoid,而你使用了所有的theta值来计算sigmoid。因此,grad(1,1)不仅仅依赖于theta(1),你不能简单地用theta(1)替换theta,这正是你在错误情况下所做的。