我正在构建两个不同的分类器来预测二元结果。然后我想通过使用ROC曲线及其下的面积（AUC）来比较这两个模型的结果。
我将数据集分为训练集和测试集。在训练集上执行一种交叉验证形式。从交叉验证的保留样本中，我能够为每个模型构建一个ROC曲线。然后我将模型应用于测试集，并构建另一组ROC曲线。
结果是矛盾的，这让我感到困惑。我不确定哪个结果是正确的，或者我是否完全做错了什么。保留样本的ROC曲线显示RF是更好的模型，而训练集的ROC曲线显示SVM是更好的模型。
分析
library(ggplot2)library(caret)library(pROC)library(ggthemes)library(plyr)library(ROCR)library(reshape2)library(gridExtra)my_data <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")str(my_data)names(my_data)[1] <- "Class"my_data$Class <- ifelse(my_data$Class == 1, "event", "noevent")my_data$Class <- factor(emr$Class, levels = c("noevent", "event"), ordered = TRUE)set.seed(1732)ind <- createDataPartition(my_data$Class, p = 2/3, list = FALSE)train <- my_data[ ind,]test <- my_data[-ind,]接下来我训练两个模型：随机森林和SVM。这里我还使用Max Kuhn的函数来获取两个模型从保留样本中得到的平均ROC曲线，并将这些结果保存到另一个数据框中，包含曲线的AUC值。
#Train RFctrl <- trainControl(method = "repeatedcv", number = 5, repeats = 3, classProbs = TRUE, savePredictions = TRUE, summaryFunction = twoClassSummary)grid <- data.frame(mtry = seq(1,3,1))set.seed(1537)rf_mod <- train(Class ~ ., data = train, method = "rf", metric = "ROC", tuneGrid = grid, ntree = 1000, trControl = ctrl)rfClasses <- predict(rf_mod, test)#这是从保留样本得到的ROC曲线。来源是Max Kuhn的2016 UseR!代码：https://github.com/topepo/useR2016roc_train <- function(object, best_only = TRUE, ...) { lvs <- object$modelInfo$levels(object$finalModel) if(best_only) { object$pred <- merge(object$pred, object$bestTune) } ## 查找调优参数名称 p_names <- as.character(object$modelInfo$parameters$parameter) p_combos <- object$pred[, p_names, drop = FALSE] ## 跨重采样平均概率 object$pred <- plyr::ddply(.data = object$pred, .variables = c("obs", "rowIndex", p_names), .fun = function(dat, lvls = lvs) { out <- mean(dat[, lvls[1]]) names(out) <- lvls[1] out }) make_roc <- function(x, lvls = lvs, nms = NULL, ...) { out <- pROC::roc(response = x$obs, predictor = x[, lvls[1]], levels = rev(lvls)) out$model_param <- x[1,nms,drop = FALSE] out } out <- plyr::dlply(.data = object$pred, .variables = p_names, .fun = make_roc, lvls = lvs, nms = p_names) if(length(out) == 1) out <- out[[1]] out}temp <- roc_train(rf_mod)plot_data_ROC <- data.frame(Model='Random Forest', sens = temp$sensitivities, spec=1-temp$specificities)#这是RF保留样本ROC曲线的AUCauc.1 <- abs(sum(diff(1-temp$specificities) * (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)#构建SVMset.seed(1537)svm_mod <- train(Class ~ ., data = train, method = "svmRadial", metric = "ROC", trControl = ctrl)svmClasses <- predict(svm_mod, test)#ROC曲线转换为dftemp <- roc_train(svm_mod)plot_data_ROC <- rbind(plot_data_ROC, data.frame(Model='Support Vector Machine', sens = temp$sensitivities, spec=1-temp$specificities))#这是SVM保留样本ROC曲线的AUCauc.2 <- abs(sum(diff(1-temp$specificities) * (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)接下来我将绘制结果
#绘制最终结果#保留样本的ROCq <- ggplot(data=plot_data_ROC, aes(x=spec, y=sens, group = Model, colour = Model)) q <- q + geom_path() + geom_abline(intercept = 0, slope = 1) + xlab("假阳性率（1-特异性）") + ylab("真阳性率（敏感性）") q + theme(axis.line = element_line(), axis.text=element_text(color='black'), axis.title = element_text(colour = 'black'), legend.text=element_text(), legend.title=element_text())#测试集的ROCrf.probs <- predict(rf_mod, test,type="prob")pr <- prediction(rf.probs$event, factor(test$Class, levels = c("noevent", "event"), ordered = TRUE))pe <- performance(pr, "tpr", "fpr")roc.data <- data.frame(Model='Random Forest',fpr=unlist([email protected]), tpr=unlist([email protected]))svm.probs <- predict(svm_mod, test,type="prob")pr <- prediction(svm.probs$event, factor(test$Class, levels = c("noevent", "event"), ordered = TRUE))pe <- performance(pr, "tpr", "fpr")roc.data <- rbind(roc.data, data.frame(Model='Support Vector Machine',fpr=unlist([email protected]), tpr=unlist([email protected])))q <- ggplot(data=roc.data, aes(x=fpr, y=tpr, group = Model, colour = Model)) q <- q + geom_line() + geom_abline(intercept = 0, slope = 1) + xlab("假阳性率（1-特异性）") + ylab("真阳性率（敏感性）") q + theme(axis.line = element_line(), axis.text=element_text(color='black'), axis.title = element_text(colour = 'black'), legend.text=element_text(), legend.title=element_text())#保留样本的AUCdata.frame(Rf = auc.1, Svm = auc.2)#测试集的AUC。来源是Max Kuhn的2016 UseR!代码：https://github.com/topepo/useR2016test_pred <- data.frame(Class = factor(test$Class, levels = c("noevent", "event"), ordered = TRUE))test_pred$Rf <- predict(rf_mod, test, type = "prob")[, "event"]test_pred$Svm <- predict(svm_mod, test, type = "prob")[, "event"]get_auc <- function(pred, ref){ auc(roc(ref, pred, levels = rev(levels(ref))))}apply(test_pred[, -1], 2, get_auc, ref = test_pred$Class)保留样本和测试集的结果完全不同（我知道它们会有所不同，但没想到会差这么多？）。
Rf Svm0.656044 0.5983193 Rf Svm 0.6326531 0.6453428根据保留样本的结果，人们会选择RF模型，但根据测试集的结果，人们会选择SVM模型。
哪种选择模型的方式是“正确”或“更好”的？
我是否在某个地方犯了大错，或者没有正确理解某些东西？
回答：
如果我理解正确的话，你有3个标记的数据集：
- 训练集
- 来自训练集的保留样本交叉验证
- “测试”集交叉验证样本
是的，在保留样本交叉验证策略下，你通常会根据保留样本选择模型，但通常情况下你不会同时有一个更大的验证数据样本。
显然，如果保留样本和测试数据集都是（a）标记的，并且（b）与训练数据尽可能接近正交性，那么你应该根据哪个样本更大来选择模型。
在你的案例中，看起来你所称的保留样本只是训练集的重复CV重采样。既然如此，你更有理由优先考虑测试数据集验证的结果。请参考Steffen关于重复CV的相关说明。
理论上，随机森林的装袋具有内在的交叉验证形式，通过OOB统计和在训练阶段进行的CV应该给你一些验证的度量。然而，在实践中，通常会观察到缺乏正交性，并且由于样本来自训练数据本身，可能会加剧过拟合的错误，以提高准确性。
我可以从理论上解释这一点，超出这一点，我只能告诉你，根据经验，我发现从训练数据计算的所谓的CV和OOB误差的性能结果可能非常具有误导性，而从未在训练期间触及的“真正”保留样本（测试）数据是更好的验证方法。
你的真正保留样本就是测试数据集，因为它的数据在训练过程中未被使用。使用这些结果。
