我尝试使用scikit-learn中的Pipeline和OneVsRest分类器来实现多标签分类。代码如下，但首先我要提到，我是从pandas数据框中构建我的多标签示例的。

代码如下：

df = pd.read_csv(fileIn, header = 0, encoding='utf-8-sig')rows = random.sample(df.index, int(len(df) * 0.9))work = df.ix[rows]work_test = df.drop(rows)X_train = []y_train = []X_test = []y_test = []for i in work[[i for i in list(work.columns.values) if i.startswith('Change')]].values:    X_train.append(','.join(i.T.tolist()))X_train = np.array(X_train)for i in work[[i for i in list(work.columns.values) if i.startswith('Corax')]].values:    y_train.append(list(i))for i in work_test[[i for i in list(work_test.columns.values) if i.startswith('Change')]].values:    X_test.append(','.join(i.T.tolist()))X_test = np.array(X_test)for i in work_test[[i for i in list(work_test.columns.values) if i.startswith('Corax')]].values:    y_test.append(list(i))lb = preprocessing.MultiLabelBinarizer()Y = lb.fit_transform(y_train)classifier = Pipeline([('vectorizer', CountVectorizer()),('tfidf', TfidfTransformer()),('clf', OneVsRestClassifier(SVC(kernel='rbf')))])classifier.fit(X_train, Y)predicted = classifier.predict(X_test)

但问题是，当你使用这一系列转换：CountVectorizer -> TfidfTransformer时，你会得到一个稀疏矩阵。问题在于，当你尝试使用OneVsRest分类器预测标签时，它会寻找decision_function或predict_proba方法。在svm.SVC中，除非你指定probability=True，否则predict_proba是不可用的。另一方面，从代码中可以看出，decision_function对于稀疏矩阵并未实现。因此我的代码失败了，因为这两个必需的方法都不可用。但也许我做错了什么？是否有可能在不指定probability=True的情况下使用svm.SVC实现多标签分类？（这样做会显著增加分类器训练的开销），也许可以通过强制TfidfTransformer输出密集矩阵而不是稀疏矩阵来实现？

回答：

这是一个众所周知的问题，目前还没有简单的解决方案。

你可以使用Pipeline来“密集化”你的稀疏数据（通过调用.toarray），但这可能会大幅增加内存消耗。你可以使用TruncatedSVD（据我所知，这是唯一适用于稀疏数据的降维方法），但这可能会干扰你的数据，从而降低SVM的性能。