我有以下代码:

model_nn <- train(  Y ~ ., training,  method = "nnet",  metric = "ROC",  trControl = trainControl(    method = "cv",     number = 10,    verboseIter = TRUE,    classProbs = TRUE,    summaryFunction = twoClassSummary  ))nnprediction <- predict(model_nn, testing)cmnn <-confusionMatrix(nnprediction,testing$Y)print(cmnn)

代码可以正常运行。然而，我无法通过confusionMatrix命令评估ROC指标的表现。我应该如何评估它，以便尝试不同的变量集和/或机器学习算法来提升ROC性能？

附注：因变量是一个两类的因子。

回答：

只需输入model_nn，就可以得到训练过程中不同设置的AUC得分；这里是一个例子，使用iris数据的前100条记录（2类）：

library(caret)library(nnet)data(iris)iris_reduced <- iris[1:100,]iris_reduced <- droplevels(iris_reduced, "virginica")model_nn <- train(  Species ~ ., iris_reduced,  method = "nnet",  metric = "ROC",  trControl = trainControl(    method = "cv",     number = 5,    verboseIter = TRUE,    classProbs = TRUE,    summaryFunction = twoClassSummary  ))model_nn

结果:

神经网络 100个样本  4个预测变量  2个类别: 'setosa', 'versicolor' 无预处理重抽样: 交叉验证（5折） 样本大小总结: 80, 80, 80, 80, 80 跨调参的重抽样结果:  size  decay  ROC  Sens  Spec  1     0e+00  1.0  1.0   1     1     1e-04  0.8  0.8   1     1     1e-01  1.0  1.0   1     3     0e+00  1.0  1.0   1     3     1e-04  1.0  1.0   1     3     1e-01  1.0  1.0   1     5     0e+00  1.0  1.0   1     5     1e-04  1.0  1.0   1     5     1e-01  1.0  1.0   1   使用最大的值选择最优模型时使用了ROC。模型的最终值为size = 1和decay = 0.1。

顺便说一下，这里提到的“ROC”术语有些误导：返回的当然不是ROC（ROC是一条曲线，而不是一个数字），而是ROC曲线下的面积，即AUC（在trainControl中使用metric='AUC'有相同的效果）。