ML – Octave – 正则化逻辑回归的梯度函数

我编写了两个代码实现来计算正则化逻辑回归算法的梯度增量,输入包括一个表示值n+1的标量变量n1,大小为n+1的列向量theta,大小为[m x (n+1)]的矩阵X,大小为m的列向量y以及一个标量因子lambda

第一个代码计算成功,第二个代码输出错误结果。我认为这两个实现做的是同样的事情,它们怎么会输出不同的结果呢?

%correcttmp = zeros(n1, 1);tmp(2:n1,:) = (lambda / m) * theta(2:n1);grad = (1 / m) * (X' * (sigmoid(X * theta) - y)) + tmp;%wronggrad(1,:) = (1 / m) * (X(:,1)' * (sigmoid(X(:,1) * theta(1,:)) - y));grad(2:n1,:) = (1 / m) * (X(:,2:n1)' * (sigmoid(X(:,2:n1) * theta(2:n1,:)) - y)) + ((lambda / m) * theta(2:n1));

其中sigmoid(z)返回g如下所示:

g = zeros(size(z));g = 1 ./ (1 + exp( -z ));

回答:

问题出在矩阵乘法上。

首先假设,m = 5 且 n1 = 5,这意味着X是一个5*5的矩阵,theta和y都是5个元素的向量。

现在在第一种情况下,sigmoid函数提供一个5*5的矩阵,X的转置也是5*5。由于这是矩阵乘法,X’的第一行与g的第一列相乘,这意味着你需要所有的g值来计算grad的第一行。

现在在第二种情况下,对于grad的第一行,sigmoid函数也提供一个5*5的矩阵,但它不同,因为现在X是一个1*5的矩阵。这意味着矩阵乘法将提供不同的输出,因此结果不同。

希望现在已经清楚了。

**之前我在写答案时假设theta和y是行向量,但在你的例子中你明确提到你使用的是列向量。然而,矩阵乘法仍然是问题所在。如果你对矩阵乘法有清晰的理解,那么你会很容易理解这个问题。

让我们从正确的方程开始,

( X * theta) – y = m*1矩阵,因此sigmoid是m*1矩阵。

X’ * sigmoid 是这里的主要部分,因为其他两个项是标量,X’ * sigmoid = m*1矩阵,最终你的grad是m*1矩阵。

如果你仔细观察,grad(1,1)依赖于X'(1,:)和sigmoid,而你使用了所有的theta值来计算sigmoid。因此,grad(1,1)不仅仅依赖于theta(1),你不能简单地用theta(1)替换theta,这正是你在错误情况下所做的。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注