我有一个多类别的分类问题,我们称这些类别为A、B、C和D。我的数据具有以下形状:
X=[#samples, #features, 1], y=[#samples,1].
更具体地说,y看起来像这样:
[['A'], ['B'], ['D'], ['A'], ['C'], ...]
当我用这些标签训练随机森林分类器时,这一切都运行良好,然而我多次读到类别标签也需要进行独热编码。经过独热编码后,y是
[[1,0,0,0], [0,1,0,0], ...]
并且具有形状
[#samples, 4]
问题出现在我尝试使用这个作为分类器输入时。模型单独预测四个标签中的每一个,这意味着它也能够产生像[0 0 0 0]这样的输出,这是我不希望看到的。rfc.classes_
返回
# [array([0, 1]), array([0, 1]), array([0, 1]), array([0, 1])]
我如何告诉模型标签是独热编码的,而不是应该独立预测的多个标签?我需要更改我的y,还是需要调整模型的一些设置?
回答:
在sklearn
中使用随机森林时,您不需要进行独热编码。
您需要的是“标签编码器”,您的Y应该看起来像这样
from sklearn.preprocessing import LabelEncodery = ["A","B","D","A","C"]le = LabelEncoder()le.fit_transform(y)# array([0, 1, 3, 0, 2], dtype=int64)
我尝试修改了sklearn 提供的示例代码:
from sklearn.ensemble import RandomForestClassifierimport numpy as npfrom sklearn.datasets import make_classification>>> X, y = make_classification(n_samples=1000, n_features=4,... n_informative=2, n_redundant=0,... random_state=0, shuffle=False)y = np.random.choice(["A","B","C","D"],1000)print(y.shape)>>> clf = RandomForestClassifier(max_depth=2, random_state=0)>>> clf.fit(X, y)>>> clf.classes_# array(['A', 'B', 'C', 'D'], dtype='<U1')
无论是使用标签编码处理y,还是不使用,都能与RandomForestClassifier
一起工作。