我是随机森林的新手，我有一个关于回归的问题。我使用R包randomForests来计算RF模型。

我的最终目标是选择对连续性状预测重要的变量集，因此我计算一个模型，然后移除平均准确度下降最低的变量，再计算一个新的模型，依此类推。这在RF分类中有效，我使用预测（训练集）、开发和验证数据集的OOB错误来比较模型。现在在回归中，我想基于解释的百分比变化和MSE来比较模型。

我在评估MSE和%var解释的结果时，使用model$predicted的预测手动计算时得到了完全相同的结果。但当我使用model$mse时，所显示的值对应于最后一个计算的树的MSE值，% var解释也是如此。

作为示例，您可以在R中尝试以下代码：

library(randomForest)data("iris")head(iris)TrainingX<-iris[1:100,2:4] #创建训练集 - X矩阵TrainingY<-iris[1:100,1]  #创建训练集 - Y向量TestingX<-iris[101:150,2:4]  #创建测试集 - X矩阵TestingY<-iris[101:150,1]  #创建测试集 - Y向量set.seed(2)model<-randomForest(x=TrainingX, y= TrainingY, ntree=500, #计算模型                    xtest = TestingX, ytest = TestingY)#对于预测（训练集）pred<-model$predictedmeanY<-sum(TrainingY)/length(TrainingY)varpY<-sum((TrainingY-meanY)^2)/length(TrainingY)mseY<-sum((TrainingY-pred)^2)/length(TrainingY)r2<-(1-(mseY/varpY))*100#对于测试（测试集）pred_2<-model$test$predictedmeanY_2<-sum(TestingY)/length(TestingY)varpY_2<-sum((TestingY-meanY_2)^2)/length(TestingY)mseY_2<-sum((TestingY-pred_2)^2)/length(TestingY)r2_2<-(1-(mseY_2/varpY_2))*100training_set_mse<-c(model$mse[500], mseY)training_set_rsq<-c(model$rsq[500]*100, r2)testing_set_mse<-c(model$test$mse[500],mseY_2)testing_set_rsq<-c(model$test$rsq[500]*100, r2_2)c<-cbind(training_set_mse,training_set_rsq,testing_set_mse, testing_set_rsq)rownames(c)<-c("last tree", "by hand")cmodel

运行此代码后，您将获得一个包含MSE和%var解释值（也称为rsq）的表格。第一行称为“last tree”，包含森林中第500棵树的MSE和%var解释值。第二行称为“by hand”，包含基于向量model$predicted和model$test$predicted在R中计算的结果。

所以，我的疑问是：

1- 树的预测是否以某种方式是累积的？还是它们彼此独立的？（我认为它们是独立的）

2- 最后一个树是否应被视为所有其他树的平均值？

3- 为什么RF模型的MSE和%var解释（在您调用model时显示在主面板上）与第500棵树的相同（见表格的第一行）？向量model$mse或model$rsq是否包含累积值？

在最后一次编辑后，我发现了Andy Liaw（包的创建者之一）的一篇文章，指出MSE和%var解释实际上是累积的！：https://stat.ethz.ch/pipermail/r-help/2004-April/049943.html。

回答：

我不确定我是否理解您的问题所在；尽管如此，我还是尝试回答…

1- 树的预测是否以某种方式是累积的？还是它们彼此独立的？（我认为它们是独立的）

您想得没错；树是独立拟合的，因此它们的预测确实是独立的。事实上，这是RF模型的一个关键优势，因为它允许并行实现。

2- 最后一个树是否应被视为所有其他树的平均值？

不是；如上所述，所有树都是独立的。

3- 如果每棵树都有一个预测，我怎样才能得到包含所有树的矩阵，因为我需要的是森林的MSE和% var解释？

这里您的问题开始变得非常不清楚，鉴于您上面的代码；您说您需要的MSE和r2正是您在mseY和r2中计算的：

mseY[1] 0.1232342r2[1] 81.90718

毫不奇怪，这些正是model报告的值：

model# 结果:Call: randomForest(x = TrainingX, y = TrainingY, ntree = 500)                随机森林类型: 回归                     树的数量: 500尝试每个分裂的变量数量: 1          平方残差的均值: 0.1232342                    % Var解释: 81.91

所以我不确定我是否能真正看到您的问题，或者这些值与“包含所有树的矩阵”有什么关系…

但当我使用model$mse时，所显示的值对应于最后一个计算的树的MSE值，% var解释也是如此。

绝对不是：model$mse是一个长度等于树的数量（这里是500）的向量，包含每个树的MSE；（见下面的更新）我从未在实践中见过对这个的使用（对model$rsq也是如此）：

length(model$mse)[1] 500length(model$rsq)[1] 500

更新：感谢原帖作者自己（见评论），她发现model$mse和model$rsq中的量实际上是累积的（！）；来自包维护者Andy Liaw的一个旧（2004年）帖子，从RandomForest中提取MSE和% Variance：

几种方法：

1. 阅读 ?randomForest，特别是`Value’部分。
2. 查看 str(myforest.rf)。
3. 查看 print.randomForest。

如果森林有100棵树，那么mse和rsq是每个有100个元素的向量，第i个元素是包含前i棵树的森林的mse（或rsq）。所以最后一个元素是整个森林的mse（或rsq）。