我正在尝试使用scikit-learn 0.12.1来完成以下任务:
- 训练一个LogisticRegression分类器
- 在保留的验证数据上评估分类器
- 向分类器输入新数据,并为每个观测值检索最可能的5个标签
Sklearn使得这些操作非常简单,但有一个特殊情况。无法保证所有可能的标签都会出现在用于拟合我的分类器的数据中。可能的标签有数百个,其中一些在可用的训练数据中并未出现。
这导致了两个问题:
- 标签向量化器无法识别验证数据中出现的先前未见的标签。这可以通过将标签器拟合到可能的标签集上来轻松解决,但这加剧了问题2。
- LogisticRegression分类器的predict_proba方法的输出是一个[n_samples, n_classes]数组,其中n_classes仅包含在训练数据中看到的类。这意味着在predict_proba数组上运行argsort不再提供直接映射到标签向量化器词汇表的值。
我的问题是,如何强制分类器识别完整的可能类集,即使其中一些类在训练数据中没有出现?显然,它在学习从未见过的标签时会遇到困难,但在我的情况下,0是完全可以使用的。
回答:
这里有一个解决方法。确保你有一个名为all_classes
的所有类的列表。然后,如果clf
是你的LogisticRegression
分类器,
from itertools import repeat# 确定训练集中未出现的类;
# 出现的类列在clf.classes_中。
classes_not_trained = set(clf.classes_).symmetric_difference(all_classes)# predict_proba的输出中类的顺序与clf.classes_中的顺序匹配。
prob = clf.predict_proba(test_samples)
for row in prob:
prob_per_class = (zip(clf.classes_, prob)
+ zip(classes_not_trained, repeat(0.)))
生成一个(cls, prob)
对的列表。