我有一个包含三个类别的高度不平衡的数据集。为了解决这个问题，我在XGBClassifier中应用了sample_weight数组，但我在建模结果中没有注意到任何变化？分类报告（混淆矩阵）中的所有指标都是相同的。实现上是否有问题？

类别比例：

military: 1171 government: 34852 other: 20869

示例：

pipeline = Pipeline([    ('bow', CountVectorizer(analyzer=process_text)), # 将字符串转换为整数计数    ('tfidf', TfidfTransformer()), # 将整数计数转换为加权TF-IDF分数    ('classifier', XGBClassifier(sample_weight=compute_sample_weight(class_weight='balanced', y=y_train))) # 使用Naive Bayes分类器在TF-IDF向量上进行训练])

数据集样本：

data = pd.DataFrame({'entity_name': ['UNICEF', 'US Military', 'Ryan Miller'],                      'class': ['government', 'military', 'other']})

分类报告

回答：

1. 首先，最重要的是：使用多类别的eval_metric。使用eval_metric=merror或mlogloss，然后向我们展示结果。你展示了['precision','recall','f1-score','support']，但这不理想，或者说除非你以多类别感知和不平衡感知的方式计算它们，否则是错误的。
2. 其次，你需要权重。你的类别比例是military: government: other 1:30:18，或者百分比为2:61:37%。这是严重不平衡的。

• 你可以手动设置每类权重，使用xgb.DMatrix..., weights)
• 查看你的管道内部（使用打印或详细设置，导出值），不要盲目依赖像sklearn.utils.class_weight.compute_sample_weight('balanced', ...)这样的样板代码来给你最佳权重。
• 尝试手动设置每类权重，从1 : 1/30 : 1/18开始，并尝试更极端的值。使用倒数，以便较稀有的类别获得更高的权重。
• 还可以尝试将min_child_weight设置得更高，这样它就需要少数类别的一些样本。从min_child_weight >= 2（*最稀有类别的权重）开始，并尝试更高的值。注意不要过度拟合到非常稀有的少数类别（这就是为什么人们使用StratifiedKFold交叉验证，以获得一些保护，但你的代码没有使用CV）。

1. 我们看不到你对xgboost分类器的其他参数（有多少估计器？提前停止开或关？学习率/eta是什么？等等）。看起来你使用了默认值 – 这些会很糟糕。否则你没有展示你的代码。不要信任xgboost的默认值，特别是对于多类别，不要期望xgboost能提供开箱即用的好结果。阅读文档并尝试不同的值。
2. 做完所有这些实验，发布你的结果，在得出“它不起作用”的结论之前要检查。不要期望开箱即用的最佳结果。怀疑或双重检查sklearn的工具函数，尝试手动替代方案。（通常，只是因为sklearn有一个函数来做某事，并不意味着它好或最佳或适合所有用例，比如不平衡的多类别）