我在进行多标签分类。我已经在一个数据集上进行了训练,并得到了建议的标签。然而,并不是所有实例都至少有一个标签。我遇到了邮件列表中讨论过的这个确切问题。看起来曾经讨论过可能添加一个参数来强制选择最少数量的标签,但是在查看文档时,我没有看到这个功能最终被实现。我不太理解建议的解决方法。难道在所有学习完成之后就没有办法做到这一点了吗?
我的代码中涉及学习的部分:
lb = preprocessing.MultiLabelBinarizer()Y = lb.fit_transform(y_train_text)classifier = Pipeline([ ('vectorizer', CountVectorizer(stop_words="english")), ('tfidf', TfidfTransformer()), ('clf', OneVsRestClassifier(LinearSVC()))])classifier.fit(X_train, Y)predicted = classifier.predict(X_test)all_labels = lb.inverse_transform(predicted)
回答:
感谢”@某人”,这几乎就是我想要的。不过,我不想覆盖那些已经有一个或多个预测的情况。这是我的解决方案,看起来似乎有效:
lb = preprocessing.MultiLabelBinarizer()Y = lb.fit_transform(y_train_text)classifier = Pipeline([ ('vectorizer', CountVectorizer(stop_words="english")), ('tfidf', TfidfTransformer()), ('clf', OneVsRestClassifier(LinearSVC()))])classifier.fit(X_train, Y)predicted = classifier.predict(X_test)x = classifier.decision_function(X_test)predicted_all = sp.sign(x - x.max(1).reshape(x.shape[0], 1) + 1e-20)predicted_all = (predicted_all + 1)/2for i in range(0, len(predicted)): #如果我们没有预测结果,就使用我们“强制”的单一预测 if (all(v == 0 for v in predicted[i])): predicted[i] = predicted_all[i]all_labels = lb.inverse_transform(predicted)