从公式的角度来看,我认为随机梯度下降应用于逻辑回归的最终结果。我不确定这是否正确。
只是想了解随机梯度下降与逻辑回归之间的关系。我猜测它的工作方式类似于神经网络,它计算如何改进权重(应用链式法则)。
换句话说,在计算逻辑回归公式后,它在其上应用链式法则,以获得更好的权重,并在循环中保持,直到逻辑回归的损失率接近零,这样正确吗?谢谢
例如,在完成逻辑回归计算后,
然后应用SGD(LR) -> 获取更新的权重 -> 在循环中再次执行逻辑回归,直到SGD满意为止
回答:
逻辑回归是一种使用逻辑函数(或类似变体)对离散系统进行建模的方法。也就是说,系统的输出具有有限数量的可能值。可以将其视为一种分类算法(尽管这种描述可能有危险,因为分类在技术上与回归不同),它将一组输入映射到一组有限的输出。
随机梯度下降是梯度下降(或批量梯度下降)优化算法的一种变体。它不是同时使用所有(或一“批”)训练数据(这可能非常耗费计算/内存),而是使用迭代近似来寻找跨N维输入空间的函数最小值。
随机梯度下降可以用来构建逻辑回归模型,类似于它可以用来构建线性回归模型。模型本身独立于用于训练它的优化算法。虽然随机梯度下降通常用作训练算法,但它并不是唯一的选择。