我正在使用scikit-learn来对我的数据进行分类，目前我正在运行一个简单的决策树分类器。我有三个类别，并且存在严重的不平衡问题。类别分别是0、1和2。少数类别是1和2。
为了让您了解各类别的样本数量：
0 = 25,000个样本1 = 15/20左右2 = 15/20左右因此，少数类别大约占数据集的0.06%。我用来解决不平衡问题的方案是对少数类别进行上采样。代码如下：
from sklearn.utils import resampleresample(data, replace=True, n_samples=len_major_class, random_state=1234)现在出现了问题。我做了两个测试：
- 如果我对少数类别进行上采样，然后将我的数据集分为训练组和测试组… 准确率是：
精确度 召回率 f1分数 支持数 0 1.00 1.00 1.00 20570 1 1.00 1.00 1.00 20533 2 1.00 1.00 1.00 20439avg / total 1.00 1.00 1.00 61542
非常好的结果。
- 如果我只对训练数据进行上采样，并保留原始数据用于测试，结果是：
精确度 召回率 f1分数 支持数 0 1.00 1.00 1.00 20570 1 0.00 0.00 0.00 15 2 0.00 0.00 0.00 16avg / total 1.00 1.00 1.00 20601
如您所见，总体准确率很高，但类别1和2的准确率为零。
我是这样创建分类器的：
DecisionTreeClassifier(max_depth=20, max_features=0.4, random_state=1234, criterion='entropy')我也尝试过添加class_weight并设置为balanced值，但这没有带来任何变化。
我应该只对训练数据进行上采样，为什么会出现这种奇怪的问题？
回答：
您得到这种行为是非常正常的，当您在分割前进行重采样时，您会在数据中引入偏差。
如果您先对数据进行过采样然后再分割，测试集中的少数样本将不再独立于训练集中的样本，因为它们是共同生成的。在您的情况下，它们是训练集样本的精确复制。您的准确率为100%，因为分类器是在对已经在训练中见过的样本进行分类。
由于您的问题严重不平衡，我建议使用一组分类器来处理。1) 将您的数据集分割为训练集和测试集。考虑到数据集的大小，您可以从少数类别中采样1-2个样本用于测试，并将其他样本用于训练。2) 从训练集中生成N个数据集，这些数据集包含少数类别的所有剩余样本，并从多数类别中进行下采样（我建议下采样数量为少数类别样本数量的2倍）。3) 对每个生成的数据集训练一个模型。4) 使用测试集获得预测；最终预测将是所有分类器预测的多数投票结果。
为了获得可靠的指标，请使用不同的初始测试/训练分割进行多次迭代。
