如何手动计算逻辑回归中的截距(Beta 0)和系数(Beta 1)?

我目前正在学习逻辑回归。但在计算截距(Beta 0)和系数(Beta 1)时遇到了困难。我在网上搜索过相关内容,但只找到了使用Microsoft Excel或R语言内置函数的教程。我听说可以通过最大似然法来解决,但我不知道如何使用,因为我没有统计学背景。有人能给我简要解释并模拟一下如何计算截距(Beta 0)和系数(Beta 1)吗?


回答:

逻辑回归没有封闭形式的解,但有许多迭代方法可以学习其参数。其中最简单的方法之一是陡降法,它只是简单地沿着梯度的相反方向迭代移动。对于一维逻辑回归,它将是:

beta1_t+1 = beta1_t - alpha * SUM_(x, y) x * (s(beta1_t*x + beta0_t) - y)beta0_t+1 = beta0_t - alpha * SUM_(x, y) (s(beta1_t*x + beta0_t) - y)

其中:

s(x) = 1 / (1 + exp(-x))

并且

  • alpha 是学习率,足够小的值,如0.01
  • 模型的预测是 s(beta1 * x + beta0)
  • 数据形式为 {(x1, y1), ..., (xK, yK)},每个 yi 是0或1

这实际上是说

beta_t+1 = beta_t - alpha * GRAD_theta J(beta_t)

其中 J 是逻辑损失

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注