我正在使用Scikit-Learn (sklearn) 玩一个一对多（one-vs-all）的逻辑回归分类器。我有一个大型数据集，一次性运行速度太慢；而且我想研究训练过程中的学习曲线。

我想使用批量梯度下降来分批次训练我的分类器，每批次比如500个样本。是否有办法使用sklearn来实现这一点，还是我应该放弃sklearn并“自己动手”？

这是我目前的进展：

from sklearn.linear_model import LogisticRegressionfrom sklearn.multiclass import OneVsRestClassifier# xs是我训练数据的子集，ys是相应的真实值；我有更多# 的数据可用于进一步的训练和交叉验证：xs.shape, ys.shape# => ((500, 784), (500))lr = OneVsRestClassifier(LogisticRegression())lr.fit(xs, ys)lr.predict(xs[0,:])# => [ 1.]ys[0]# => 1.0

即它正确识别了一个训练样本（是的，我意识到用新数据进行评估会更好——这只是一个快速的测试）。

关于批量梯度下降：我还没有开始创建学习曲线，但是可以简单地在训练数据的后续子集上重复运行fit吗？还是有其他函数可以进行批量训练？文档和谷歌在这方面都相当沉默。谢谢！

回答：

你想要的不是批量梯度下降，而是随机梯度下降；批量学习意味着一次性在整个训练集上进行学习，而你描述的是通常称为小批量学习。这在sklearn.linear_model.SGDClassifier中实现，如果你给它选项loss="log"，它会拟合一个逻辑回归模型。

使用SGDClassifier，就像使用LogisticRegression一样，不需要将估计器包装在OneVsRestClassifier中——两者都默认进行一对多训练。

# 你需要设置一些其他选项来获得好的估计，# 特别是n_iterations，但这应该能让你开始lr = SGDClassifier(loss="log")

然后，为了在小批量上训练，使用partial_fit方法而不是fit。第一次使用时，你必须提供一个类别列表，因为并非每个小批量中都可能包含所有类别：

import numpy as npclasses = np.unique(["ham", "spam", "eggs"])for xs, ys in minibatches:    lr.partial_fit(xs, ys, classes=classes)

（在这里，我为每个小批量传递classes，这不是必须的，但也没有坏处，并且使代码更简短。）