出于研究目的，我发现自己需要在大型数据集（即大量示例）上使用SGD训练SVM。这使得使用scikit-learn的实现（SGDClassifier）变得有问题，因为它需要一次性加载整个数据集。
我熟悉的算法使用n步SGD来获得n个不同的分离器w_i，然后对它们进行平均（具体细节可以在https://www.cse.huji.ac.il/~shais/Lectures2014/lecture8.pdf的第12张幻灯片中看到）。
这让我想到，或许我可以使用scikit-learn训练多个这样的分类器，然后取所得线性分离器的平均值（假设没有偏置）。
这种思路合理吗，还是scikit-learn的实现不符合我的逻辑？
编辑：我很清楚有其他不同的方法来训练SVM，但这是为了一个特定的研究目的。我只想知道这种思路是否可以使用scikit-learn的实现，或者你是否知道其他可以让我使用SGD训练SVM而无需将整个数据集加载到内存中的替代方案。
回答：
SGDClassifier有一个partial_fit方法，partial_fit方法的主要目标之一是将sklearn模型扩展到大型数据集。使用这个方法，你可以将数据集的一部分加载到内存中，输入到SGD中，并重复这个过程，直到使用完整个数据集。
在下面的代码中，我主要使用KFold来模拟加载数据集的块。
class GD_SVM(BaseEstimator, ClassifierMixin): def __init__(self): self.sgd = SGDClassifier(loss='hinge',random_state=42,fit_intercept=True,l1_ratio=0,tol=.001) def fit(self,X,y): cv = KFold(n_splits=10,random_state=42,shuffle=True) for _,test_id in cv.split(X,y): xt,yt = X[test_id],y[test_id] self.sgd = self.sgd.partial_fit(xt,yt,classes=np.unique(y)) def predict(self,X): return self.sgd.predict(X)为了与常规（线性）SVM进行比较：
X,y = load_breast_cancer(return_X_y=True)X = StandardScaler().fit_transform(X) #为了简便，Pipeline是更好的选择cv = RepeatedStratifiedKFold(n_splits=5,n_repeats=5,random_state=43)sgd = GD_SVM()svm = LinearSVC(loss='hinge',max_iter=1,random_state=42, C=1.0,fit_intercept=True,tol=.001)r = cross_val_score(sgd,X,y,cv=cv) #cross_val_score(svm,X,y,cv=cv)print(r.mean())上述GD_SVM的准确率为95%，而SVM的准确率为96%。在Digits数据集上，SVM的准确率为93%，而GD_SVM的准确率为91%。尽管这些表现大体相似，但正如这些测量结果所示，它们并非完全相同。这是可以预期的，因为这些算法使用了相当不同的优化算法，但我认为仔细调整超参数可以缩小差距。
