我正在处理一个高度不平衡数据集的二元分类问题，我想知道是否有人尝试在使用Spark的MLlib进行分类问题时，实现了处理不平衡数据集的特定技术（例如SMOTE）。
我使用的是MLLib的随机森林实现，并且已经尝试了最简单的随机欠采样大类的方法，但效果不如预期的好。
我非常欢迎您分享处理类似问题的经验和反馈。
谢谢，
回答：
Spark ML中的类权重
截至目前，随机森林算法的类权重功能仍在开发中（详见这里）
但是，如果您愿意尝试其他分类器，逻辑回归已经添加了此功能（详见这里）。
假设数据集中有80%的正样本（标签 == 1），理论上我们希望“欠采样”正类。逻辑损失目标函数应该对负类（标签 == 0）赋予更高的权重。
以下是Scala中生成此权重的示例，我们为数据集中的每条记录添加一个新列到数据框中：
def balanceDataset(dataset: DataFrame): DataFrame = { // 重新平衡（加权）记录以用于逻辑损失目标函数 val numNegatives = dataset.filter(dataset("label") === 0).count val datasetSize = dataset.count val balancingRatio = (datasetSize - numNegatives).toDouble / datasetSize val calculateWeights = udf { d: Double => if (d == 0.0) { 1 * balancingRatio } else { (1 * (1.0 - balancingRatio)) } } val weightedDataset = dataset.withColumn("classWeightCol", calculateWeights(dataset("label"))) weightedDataset }然后，我们创建分类器如下：
new LogisticRegression().setWeightCol("classWeightCol").setLabelCol("label").setFeaturesCol("features")更多详情，请查看这里：https://issues.apache.org/jira/browse/SPARK-9610
– 预测能力
您还应该检查另一个问题，即您的特征是否具有您试图预测的标签的“预测能力”。如果在欠采样后精度仍然很低，可能与数据集本身的不平衡无关。
我会进行探索性数据分析 – 如果分类器的表现不如随机选择，那么可能特征与类之间根本没有联系。
- 对每个特征与标签进行相关性分析。
- 为特征生成类特定的直方图（即在同一轴上绘制每个类的数据直方图）也可以很好地展示特征是否能很好地区分两个类别。
过拟合 – 在训练集上的错误低而在测试集上的错误高，可能是使用过于灵活的特征集导致的过拟合的迹象。
偏差方差 – 检查您的分类器是否存在高偏差或高方差问题。
- 训练误差与验证误差 – 绘制验证误差和训练集误差随训练样本数量的变化图（进行增量学习）
- 如果两条线似乎收敛到相同的值，并且在最后接近，那么您的分类器具有高偏差。在这种情况下，增加更多数据无济于事。更换为具有更高方差的分类器，或者简单地降低当前分类器的正则化参数。
- 另一方面，如果两条线相距甚远，并且您在训练集上的误差低但在验证集上的误差高，那么您的分类器方差过高。在这种情况下，获取更多数据很可能会有所帮助。如果在获取更多数据后方差仍然过高，您可以增加正则化参数。
