我正在尝试使用scikit-learn的SGDClassifier
对一个庞大的数据集进行逻辑回归(确切地说,我使用的是partial_fit
)。我得到的系数符号各不相同,而我希望强制分类器仅寻找正值(我知道这在方法论上可能不是最佳方法,但目前这样做是可以接受的)。
我的问题是:有没有办法使用SGDClassifier
对系数施加约束?
感谢您的宝贵时间
回答:
在SGDClassifier
的当前实现中,这是不可能的。
如果您想实现这一点,您需要添加一个惩罚,称之为例如’positivity’,确保通过对负值施加无限成本来验证此约束。
可能可以使用例如这篇论文,Duchi 2009来实现(但我认为在更新的文献中有后续研究可能更适合这项工作)。您需要在每个小批量中进行投影到正象限。这可以通过在逻辑损失的梯度步骤后将所有出现的负值设为0来实现。