我在进行文本挖掘/分类,并尝试使用 sklearn.metrics
模块中的 precision_recall_fscore_support
函数来评估性能。我不确定如何创建一个非常小的示例来重现这个问题,但即使如此,也许有人可以帮助我,因为可能是我忽略了一些显而易见的东西。
上述函数返回的其中一项是每个类别的支持度。文档中说明
support: int (如果 average 不为 None) 或 int 数组,形状 = [n_unique_labels] : y_true 中每个标签的出现次数。
但在我的情况下,返回支持度的类别数量与测试数据中不同类别的数量不一致。
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5)classifier = svm.SVC(kernel="linear")classifier.fit(X_train, y_train)y_pred = classifier.predict(X_test)prec, rec, fbeta, supp = precision_recall_fscore_support(y_test, y_pred)print(len(classifier.classes_)) # 打印 18print(len(supp)) # 打印 19print(len(np.unique(y_test))) # 打印 18
这是怎么回事?怎么会有不在数据中的类别的支持度呢?
回答:
我不确定问题出在哪里,但在我的情况下,分类器学习到的类别与测试数据中出现的类别似乎不匹配。可以通过明确指定类别名称来强制函数计算正确类别的性能指标。
prec, rec, fbeta, supp = precision_recall_fscore_support(y_test, y_pred, labels=classifier.classes_)