逻辑回归与随机梯度下降的关系

从公式的角度来看,我认为随机梯度下降应用于逻辑回归的最终结果。我不确定这是否正确。

只是想了解随机梯度下降与逻辑回归之间的关系。我猜测它的工作方式类似于神经网络,它计算如何改进权重(应用链式法则)。

换句话说,在计算逻辑回归公式后,它在其上应用链式法则,以获得更好的权重,并在循环中保持,直到逻辑回归的损失率接近零,这样正确吗?谢谢

例如,在完成逻辑回归计算后,

然后应用SGD(LR) -> 获取更新的权重 -> 在循环中再次执行逻辑回归,直到SGD满意为止


回答:

逻辑回归是一种使用逻辑函数(或类似变体)对离散系统进行建模的方法。也就是说,系统的输出具有有限数量的可能值。可以将其视为一种分类算法(尽管这种描述可能有危险,因为分类在技术上与回归不同),它将一组输入映射到一组有限的输出。

随机梯度下降梯度下降(或批量梯度下降)优化算法的一种变体。它不是同时使用所有(或一“批”)训练数据(这可能非常耗费计算/内存),而是使用迭代近似来寻找跨N维输入空间的函数最小值。

随机梯度下降可以用来构建逻辑回归模型,类似于它可以用来构建线性回归模型。模型本身独立于用于训练它的优化算法。虽然随机梯度下降通常用作训练算法,但它并不是唯一的选择。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注