使用带约束的SGDClassifier

我正在尝试使用scikit-learn的SGDClassifier对一个庞大的数据集进行逻辑回归(确切地说,我使用的是partial_fit)。我得到的系数符号各不相同,而我希望强制分类器仅寻找正值(我知道这在方法论上可能不是最佳方法,但目前这样做是可以接受的)。

我的问题是:有没有办法使用SGDClassifier对系数施加约束?

感谢您的宝贵时间


回答:

SGDClassifier的当前实现中,这是不可能的。

如果您想实现这一点,您需要添加一个惩罚,称之为例如’positivity’,确保通过对负值施加无限成本来验证此约束。

可能可以使用例如这篇论文,Duchi 2009来实现(但我认为在更新的文献中有后续研究可能更适合这项工作)。您需要在每个小批量中进行投影到正象限。这可以通过在逻辑损失的梯度步骤后将所有出现的负值设为0来实现。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注