为什么单棵树的随机森林比决策树分类器表现得好得多?

我对数据应用了决策树分类器和随机森林分类器,使用的代码如下:

def decision_tree(train_X, train_Y, test_X, test_Y):    clf = tree.DecisionTreeClassifier()    clf.fit(train_X, train_Y)    return clf.score(test_X, test_Y)def random_forest(train_X, train_Y, test_X, test_Y):    clf = RandomForestClassifier(n_estimators=1)    clf = clf.fit(X, Y)    return clf.score(test_X, test_Y)

为什么随机森林分类器的效果要好得多(在100次运行中,随机抽取2/3的数据用于训练,1/3用于测试)?

100%|███████████████████████████████████████| 100/100 [00:01<00:00, 73.59it/s]Algorithm: Decision Tree  Min     : 0.3883495145631068  Max     : 0.6476190476190476  Mean    : 0.4861783113770316  Median  : 0.48868030937802126  Stdev   : 0.047158171852401135  Variance: 0.0022238931724605985100%|███████████████████████████████████████| 100/100 [00:01<00:00, 85.38it/s]Algorithm: Random Forest  Min     : 0.6846846846846847  Max     : 0.8653846153846154  Mean    : 0.7894823428836184  Median  : 0.7906101571063208  Stdev   : 0.03231671150915106  Variance: 0.0010443698427656967

一个估计器的随机森林不就是一个决策树吗?我是否做错了什么或者误解了这个概念?


回答:

一个估计器的随机森林不就是一个决策树吗?

这是一个很好的问题,答案是不是;随机森林算法不仅仅是一组独立生长的决策树的集合。

除了通过集成多棵树引入的随机性外,随机森林(RF)算法在构建单个树时还通过两种不同的方式引入随机性,这些方式在简单的决策树(DT)算法中都不存在。

第一种是在每个树节点寻找最佳分割时考虑的特征数量:虽然DT考虑所有特征,但RF只考虑其中一个随机子集,其大小等于参数max_features(参见文档)。

第二种是,虽然DT考虑整个训练集,但单个RF树只考虑其一个自助抽样的子样本;再次引用文档

子样本的大小总是与原始输入样本大小相同,但如果bootstrap=True(默认),样本是带替换地抽取的。


RF算法本质上是两个独立思想的结合:装袋和随机选择特征(参见维基百科条目以获得一个很好的概述)。装袋本质上是我上面提到的第二点,但应用于一个集成;随机选择特征是我上面提到的第一点,似乎在Breiman的RF之前,Tin Kam Ho就已经独立提出了这个想法(再次参见维基百科条目)。Ho已经建议仅随机选择特征就能提高性能。这并不是你在这里所做的(你仍然使用了来自装袋的自助抽样想法),但你可以通过在RandomForestClassifier()的参数中设置bootstrap=False来轻松复制Ho的想法。事实上,鉴于这项研究,性能上的差异并不意外…

要在RandomForestClassifier()完全复制单棵树的行为,你应该同时使用bootstrap=Falsemax_features=None参数,即

clf = RandomForestClassifier(n_estimators=1, max_features=None, bootstrap=False)

在这种情况下,既不会进行自助抽样,也不会进行随机特征选择,性能应该大致等于单个决策树的性能。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注