ML – Octave – 正则化逻辑回归的梯度函数

我编写了两个代码实现来计算正则化逻辑回归算法的梯度增量,输入包括一个表示值n+1的标量变量n1,大小为n+1的列向量theta,大小为[m x (n+1)]的矩阵X,大小为m的列向量y以及一个标量因子lambda

第一个代码计算成功,第二个代码输出错误结果。我认为这两个实现做的是同样的事情,它们怎么会输出不同的结果呢?

%correcttmp = zeros(n1, 1);tmp(2:n1,:) = (lambda / m) * theta(2:n1);grad = (1 / m) * (X' * (sigmoid(X * theta) - y)) + tmp;%wronggrad(1,:) = (1 / m) * (X(:,1)' * (sigmoid(X(:,1) * theta(1,:)) - y));grad(2:n1,:) = (1 / m) * (X(:,2:n1)' * (sigmoid(X(:,2:n1) * theta(2:n1,:)) - y)) + ((lambda / m) * theta(2:n1));

其中sigmoid(z)返回g如下所示:

g = zeros(size(z));g = 1 ./ (1 + exp( -z ));

回答:

问题出在矩阵乘法上。

首先假设,m = 5 且 n1 = 5,这意味着X是一个5*5的矩阵,theta和y都是5个元素的向量。

现在在第一种情况下,sigmoid函数提供一个5*5的矩阵,X的转置也是5*5。由于这是矩阵乘法,X’的第一行与g的第一列相乘,这意味着你需要所有的g值来计算grad的第一行。

现在在第二种情况下,对于grad的第一行,sigmoid函数也提供一个5*5的矩阵,但它不同,因为现在X是一个1*5的矩阵。这意味着矩阵乘法将提供不同的输出,因此结果不同。

希望现在已经清楚了。

**之前我在写答案时假设theta和y是行向量,但在你的例子中你明确提到你使用的是列向量。然而,矩阵乘法仍然是问题所在。如果你对矩阵乘法有清晰的理解,那么你会很容易理解这个问题。

让我们从正确的方程开始,

( X * theta) – y = m*1矩阵,因此sigmoid是m*1矩阵。

X’ * sigmoid 是这里的主要部分,因为其他两个项是标量,X’ * sigmoid = m*1矩阵,最终你的grad是m*1矩阵。

如果你仔细观察,grad(1,1)依赖于X'(1,:)和sigmoid,而你使用了所有的theta值来计算sigmoid。因此,grad(1,1)不仅仅依赖于theta(1),你不能简单地用theta(1)替换theta,这正是你在错误情况下所做的。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注