我想使用sklearn对多标签数据集进行特征选择。我希望获得跨标签的最终特征集，然后在另一个机器学习包中使用这些特征。我计划使用这里看到的方法，该方法为每个标签单独选择相关特征。

from sklearn.svm import LinearSVCfrom sklearn.feature_selection import chi2, SelectKBestfrom sklearn.multiclass import OneVsRestClassifierclf = Pipeline([('chi2', SelectKBest(chi2, k=1000)),                ('svm', LinearSVC())])multi_clf = OneVsRestClassifier(clf)

然后，我计划使用以下代码提取每个标签包含的特征的索引：

selected_features = []for i in multi_clf.estimators_:    selected_features += list(i.named_steps["chi2"].get_support(indices=True))

现在，我的疑问是，如何选择哪些选定的特征包含在我的最终模型中？我可以使用每个唯一的特征（这将包括仅对一个标签相关的特征），或者我可以做一些事情来选择对更多标签相关的特征。

我的初步想法是创建一个直方图，显示给定特征被选择的标签数量，并通过视觉检查确定一个阈值。我担心这种方法是主观的。使用sklearn对多标签数据集进行特征选择是否有更原则性的方法？

回答：

根据这篇论文的结论：

[…] 根据所有标签的平均或最大卡方分数对特征进行排名，导致了使用较少特征的最佳分类器的出现。

然后，为了选择一个好的特征子集，你只需要做（类似于）这样：

from sklearn.feature_selection import chi2, SelectKBestselected_features = [] for label in labels:    selector = SelectKBest(chi2, k='all')    selector.fit(X, Y[label])    selected_features.append(list(selector.scores_))// MeanCS selected_features = np.mean(selected_features, axis=0) > threshold// MaxCSselected_features = np.max(selected_features, axis=0) > threshold

注意：在上面的代码中，我假设X是某个文本向量化器的输出（文本的向量化版本），Y是一个pandas数据框，每个标签一列（所以我可以选择列Y[label]）。此外，还有一个阈值变量，需要事先设定。