我使用ranger对一个包含大量混合数据的数据框进行多分类建模（其中一些分类变量具有超过53个层次）。训练和测试过程没有问题。然而，在解释混淆矩阵/列联表时遇到了问题。

我使用iris数据来解释我所面临的困难，将Species作为分类变量，

library(ranger)library(caret)# 数据idx = sample(nrow(iris),100)data = iris# 分割数据集Train_Set = data[idx,]Test_Set = data[-idx,]# 训练Species.ranger <- ranger(Species ~ ., ,data=Train_Set,importance="impurity", save.memory = TRUE, probability=TRUE)# 测试probabilitiesSpecies <- predict(Species.ranger, data = Test_Set,type='response', verbose = TRUE)orprobabilitiesSpecies <- as.data.frame(predict(Species.ranger, data = Test_Set,type='response', verbose = TRUE)$predictions)

遇到了以下困难：

table(Test_Set$Species, probabilitiesSpecies$predictions)Error in table(Test_Set$Species, probabilitiesSpecies$predictions) : all arguments must have the same length

或者

caret::confusionMatrix(Test_Set$Species, probabilitiesSpecies$predictions)orcaret::confusionMatrix(table(Test_Set$Species, max.col(probabilitiesSpecies)-1))givesError: `data` and `reference` should be factors with the same levels.

然而，二分类如以下所示可以正常工作：

idx = sample(nrow(iris),100)data = irisdata$Species = factor(ifelse(data$Species=="virginica",1,0))Train_Set = data[idx,]Test_Set = data[-idx,]# 训练Species.ranger <- ranger(Species ~ ., ,data=Train_Set,importance="impurity", save.memory = TRUE, probability=TRUE)# 测试probabilitiesSpecies <- as.data.frame(predict(Species.ranger, data = Test_Set,type='response', verbose = TRUE)$predictions)caret::confusionMatrix(table(max.col(probabilitiesSpecies)-1, Test_Set$Species))

如何解决多分类的这个问题以获得混淆矩阵？我也在这个问题上开了另一个讨论线程（使用ranger计算多分类混淆矩阵时的错误）

回答：

在ranger文档中，当probabilities = TRUE时，有以下说明，

使用概率选项和因子依赖变量时，会生成一个概率森林。在这里，节点不纯度用于分裂，就像在分类森林中一样。预测是每个样本的类概率。与其他实现不同，每棵树返回一个概率估计，这些估计用于计算森林的概率估计。详情见Malley等人（2012）。

即，当设置为TRUE时，你会得到概率估计，然后你可以根据自己的阈值进行分类。然而，我不知道当设置为FALSE时的默认决策规则是什么。

无论如何，你的方法应该是这样的，

Species.ranger <- ranger(        Species ~ .,        data = Train_Set,        importance ="impurity",        save.memory = TRUE,         probability = FALSE)

然后可以用以下方式在confusionMatrix中评估性能，

probabilitiesSpecies <- predict(        Species.ranger,        data = Test_Set,        verbose = TRUE        )table(        probabilitiesSpecies$predictions,        Test_Set$Species) %>% confusionMatrix()

输出

Confusion Matrix and Statistics                         setosa versicolor virginica  setosa         17          0         0  versicolor      0         16         1  virginica       0          0        16Overall Statistics                                                         Accuracy : 0.98                             95% CI : (0.8935, 0.9995)    No Information Rate : 0.34                P-Value [Acc > NIR] : < 2.2e-16                                                                   Kappa : 0.97                                                       Mcnemar's Test P-Value : NA              Statistics by Class:                     Class: setosa Class: versicolor Class: virginicaSensitivity                   1.00            1.0000           0.9412Specificity                   1.00            0.9706           1.0000Pos Pred Value                1.00            0.9412           1.0000Neg Pred Value                1.00            1.0000           0.9706Prevalence                    0.34            0.3200           0.3400Detection Rate                0.34            0.3200           0.3200Detection Prevalence          0.34            0.3400           0.3200Balanced Accuracy             1.00            0.9853           0.9706