我在处理一个不平衡的分类问题，其中目标变量包含：

np.bincount(y_train)array([151953,  13273])

即151953个零和13273个一。

为了处理这个问题，我在定义DMatrix时使用了XGBoost的weight参数：

dtrain = xgb.DMatrix(data=X_train,                      label=y_train,                     weight=weights)

对于权重，我使用了以下方法：

bc = np.bincount(y_train)n_samples = bc.sum()n_classes = len(bc)weights = n_samples / (n_classes * bc)w = weights[y_train.values]

其中weights是array([0.54367469, 6.22413923])，通过最后一条代码，我只是使用y_train中的二进制值对其进行索引。这似乎是定义权重的正确方法，因为它代表了一个类别值与另一个类别值的实际比例。然而，这似乎在偏袒少数类别，这可以通过检查混淆矩阵看出：

array([[18881, 19195],       [  657,  2574]])

所以通过尝试不同的权重值，我意识到使用一个相当接近的权重比，特别是array([1, 7])，结果看起来更加合理：

array([[23020, 15056],       [  837,  2394]])

所以我的问题是：

• 为什么使用每个类别的实际权重会导致较差的指标？
• 对于不平衡问题，设置权重的正确方法是什么？

回答：

在内部，xgboost使用输入权重通过将计算出的梯度和黑森矩阵乘以权重，来提升少数类样本对损失函数的贡献 [ref]。

虽然这种方法前景广阔且流行，但没有证据表明您提到的方法会带来最佳性能（这也取决于其他超参数的设置、数据分布和使用的指标）；它只是一种启发式方法。您可能还想使用ROC-AUC进行评估（如xgboost所推荐）。与大多数其他超参数一样，优化权重的更系统方法是网格搜索。 这里有一个实现。