逻辑回归与随机梯度下降的关系

从公式的角度来看,我认为随机梯度下降应用于逻辑回归的最终结果。我不确定这是否正确。

只是想了解随机梯度下降与逻辑回归之间的关系。我猜测它的工作方式类似于神经网络,它计算如何改进权重(应用链式法则)。

换句话说,在计算逻辑回归公式后,它在其上应用链式法则,以获得更好的权重,并在循环中保持,直到逻辑回归的损失率接近零,这样正确吗?谢谢

例如,在完成逻辑回归计算后,

然后应用SGD(LR) -> 获取更新的权重 -> 在循环中再次执行逻辑回归,直到SGD满意为止


回答:

逻辑回归是一种使用逻辑函数(或类似变体)对离散系统进行建模的方法。也就是说,系统的输出具有有限数量的可能值。可以将其视为一种分类算法(尽管这种描述可能有危险,因为分类在技术上与回归不同),它将一组输入映射到一组有限的输出。

随机梯度下降梯度下降(或批量梯度下降)优化算法的一种变体。它不是同时使用所有(或一“批”)训练数据(这可能非常耗费计算/内存),而是使用迭代近似来寻找跨N维输入空间的函数最小值。

随机梯度下降可以用来构建逻辑回归模型,类似于它可以用来构建线性回归模型。模型本身独立于用于训练它的优化算法。虽然随机梯度下降通常用作训练算法,但它并不是唯一的选择。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注