文本数据的多标签离线学习:partial fit时的ValueError

我正在尝试构建一个多标签的离线文本分类器。如这里所述,基本思路是以批次的方式读取(超大规模的)文本数据集,并将其部分拟合到分类器中。此外,当你处理如这里所述的多标签实例时,方法是以一对多的方式构建与数据集中类别数量相同的二元分类器。

当将sklearn的MultiLabelBinarizer和OneVsRestClassifier类与部分拟合结合使用时,我遇到了以下错误:

ValueError: 具有多个元素的数组的真值是模糊的。使用a.any()或a.all()

代码如下:

from sklearn.naive_bayes import MultinomialNBfrom sklearn.feature_extraction.text import HashingVectorizerfrom sklearn.preprocessing import MultiLabelBinarizerfrom sklearn.multiclass import OneVsRestClassifiercategories = ['a', 'b', 'c']X = ["This is a test", "This is another attempt", "And this is a test too!"]Y = [['a', 'b'],['b'],['a','b']]mlb = MultiLabelBinarizer(classes=categories)vectorizer = HashingVectorizer(decode_error='ignore', n_features=2 ** 18,         non_negative=True)clf = OneVsRestClassifier(MultinomialNB(alpha=0.01))X_train = vectorizer.fit_transform(X)Y_train = mlb.fit_transform(Y)clf.partial_fit(X_train, Y_train, classes=categories)

你可以想象,最后三行是应用于每个小批次的代码,为了简洁,我已经删除了这些代码。

如果你移除OneVsRestClassifier,只使用MultinomialNB,代码可以正常运行。


回答:

你传递的y_train是通过MultiLabelBinarizer转换后的形式,如[[1, 1, 0], [0, 1, 0], [1, 1, 0]],但传递的类别是['a','b','c'],这些类别随后通过这行代码处理:

if np.setdiff1d(y, self.classes_):raise ValueError(("Mini-batch contains {0} while classes " +                 "must be subset of {1}").format(np.unique(y),                                              self.classes_))

这会生成一个布尔值数组,如[False, True, ..]。if语句无法处理这样的数组作为单一真值,因此引发了错误。

首先,你应该以与Y_train相同的数值格式传递类别。即使你这样做了,OneVsRestClassifier的内部label_binarizer_也会判定其类型为”multiclass”而不是multilabel,然后拒绝正确转换类别。我认为这是OneVsRestClassifer和/或LabelBinarizer的一个bug。

请向scikit-learn的GitHub提交关于partial_fit的问题,看看会发生什么。

更新显然,从目标向量(y)中决定”multilabel”或”multiclass”是scikit-learn目前正在处理的一个问题,因为这涉及到许多复杂的情况。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注