我正在尝试使用 scikit-learn 的 RandomForestClassifier 进行二元分类任务（正例和负例）。我的训练数据包含 1,177,245 个样本，每个样本有 40 个特征，采用 SVM-light 格式（稀疏向量），我使用 sklearn.dataset 的 load_svmlight_file 加载这些数据。它生成一个 ‘特征值’ 的稀疏矩阵（1,177,245 * 40）和一个 ‘目标类别’ 数组（1 和 0，共 1,177,245 个）。我不知道这是否值得担心，但训练数据中有 3,552 个正例，其余都是负例。

由于 scikit-learn 的 RFC 不接受稀疏矩阵，我将稀疏矩阵转换为密集数组（如果我这样说对的话？很多 0 表示缺失的特征）使用 .toarray()。我在转换前后打印矩阵，看起来一切正常。

当我初始化分类器并开始对数据进行拟合时，耗时如下：

[Parallel(n_jobs=40)]: Done   1 out of  40 | elapsed: 24.7min remaining: 963.3min[Parallel(n_jobs=40)]: Done  40 out of  40 | elapsed: 27.2min finished

（这个输出正确吗？那 963 分钟大约需要 2 个半小时…）

然后我使用 joblib.dump 保存它。当我重新加载时：

RandomForestClassifier: RandomForestClassifier(bootstrap=True, compute_importances=True,        criterion=gini, max_depth=None, max_features=auto,        min_density=0.1, min_samples_leaf=1, min_samples_split=1,        n_estimators=1500, n_jobs=40, oob_score=False,        random_state=<mtrand.RandomState object at 0x2b2d076fa300>,        verbose=1)

并在真实的训练数据上进行测试（包含 750,709 个样本，与训练数据格式完全相同），我得到了“意外”的结果。确切地说，测试数据中只有一个样本被分类为真。当我在初始训练数据的一半上训练，并在另一半上测试时，我根本没有得到任何正例。

现在我没有理由认为有什么问题，只是我得到了奇怪的结果，而且我觉得这一切完成得太快了。虽然无法进行比较，但使用 rt-rank 在相同数据上训练 RFClassifier（同样是 1500 次迭代，但使用一半的核心）需要超过 12 小时…

有谁能告诉我我是否有理由相信某些事情没有按预期工作？这是否可能是训练数据中正例与负例的比例问题？谢谢。

回答：

确实，这个数据集非常不平衡。我建议你对负例进行子采样（例如，随机选择 n_positive_samples 个负例）或者对正例进行过采样（后者成本更高，但可能会产生更好的模型）。

另外，你确定你的所有特征都是数值特征（在现实生活中，较大的值意味着什么）吗？如果其中一些是分类整数标记，这些特征应该被展开为一个-k 布尔编码，因为 scikit-learn 的随机森林实现无法直接处理分类数据。