我正在尝试测试以下分类器的预测分数：

- 随机森林- k近邻- 支持向量机- 朴素贝叶斯

我没有使用特征选择或特征缩放（完全没有预处理）。

我使用以下方式进行训练-测试分割：

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3)

我测试了几种数据集（来自sklearn）：

- load_iris- load_breast_cancer- load_wine

在这三个数据集中，随机森林总是给出完美的预测（测试准确率1.0）。

我尝试创建用于分类的随机样本：

make_classification(flip_y=0.3, weights = [0.65, 0.35], n_features=40, n_redundant=4, n_informative=36,n_classes=2,n_clusters_per_class=1, n_samples=50000)

同样，随机森林在测试集上给出了完美的预测（准确率1.0）。

所有其他分类器在测试集上的表现都很好（0.8-0.97），但不像随机森林那样完美（1.0）。

• 我错过了什么？
• 随机森林真的完美地超越了所有其他分类器吗？

回答：

关于1.0的完美准确率分数，我们必须记住，这三个数据集现在都被认为是玩具数据集，同样的情况可能也适用于由scikit-learn的make_classification生成的人造数据。

尽管如此，RF确实被认为是一种非常强大的分类算法。甚至有一篇相对较新的论文（2014年），标题为我们需要数百个分类器来解决现实世界的分类问题吗？，得出了结论（引用摘要，原文强调）：

我们评估了179个分类器，来自17个家族（判别分析、贝叶斯、神经网络、支持向量机、决策树、基于规则的分类器、提升、装袋、堆叠、随机森林和其他集成方法、广义线性模型、最近邻、偏最小二乘和主成分回归、逻辑回归和多项回归、多重自适应回归样条和其他方法）[…] 我们使用了121个数据集，代表了整个UCI数据库[…] 最有可能成为最佳分类器的是随机森林（RF）版本

尽管这篇论文受到了一些批评，主要是因为它没有包括提升树（但不仅仅是因为这个原因，另见随机森林真的是最好的分类器吗？），但事实是，至少在“传统”的、深度学习之前的分类领域，已经有了一个说法：当有疑问时，尝试RF，上面提到的第一篇论文进一步加强了这一说法。