我在R中使用caret进行逻辑回归：
ctrl <- trainControl(method = "repeatedcv", number = 10, repeats = 10, savePredictions = TRUE) mod_fit <- train(Y ~ ., data=df, method="glm", family="binomial", trControl = ctrl) print(mod_fit)默认输出的指标是准确率和Cohen kappa。我想提取匹配的指标，如敏感性、特异性、阳性预测值等，但找不到简单的方法来实现。最终模型是提供的，但它是用所有数据训练的（据我从文档中了解），所以我无法用它来进行新的预测。
混淆矩阵可以计算所有所需的参数，但将其作为摘要函数传递时不起作用：
ctrl <- trainControl(method = "repeatedcv", number = 10, repeats = 10, savePredictions = TRUE, summaryFunction = confusionMatrix) mod_fit <- train(Y ~ ., data=df, method="glm", family="binomial", trControl = ctrl)Error: `data` and `reference` should be factors with the same levels. 13.stop("`data` and `reference` should be factors with the same levels.", call. = FALSE) 12.confusionMatrix.default(testOutput, lev, method) 11.ctrl$summaryFunction(testOutput, lev, method) 有没有办法除了准确率和kappa之外，还能提取这些信息，或者在caret train返回的train_object中找到这些信息？
提前感谢！
回答：
Caret已经有摘要函数可以输出您提到的所有指标：
defaultSummary 输出准确率和KappatwoClassSummary 输出AUC（ROC曲线下面积 – 见答案的最后一行）、敏感性和特异性prSummary 输出精确度和召回率
为了获得组合指标，您可以编写自己的摘要函数，将这三个函数的输出结合起来：
library(caret)MySummary <- function(data, lev = NULL, model = NULL){ a1 <- defaultSummary(data, lev, model) b1 <- twoClassSummary(data, lev, model) c1 <- prSummary(data, lev, model) out <- c(a1, b1, c1) out}让我们在Sonar数据集上试试：
library(mlbench)data("Sonar")在定义训练控制时，设置classProbs = TRUE 很重要，因为有些指标（ROC和prAUC）不能基于预测类别计算，而是基于预测概率计算。
ctrl <- trainControl(method = "repeatedcv", number = 10, savePredictions = TRUE, summaryFunction = MySummary, classProbs = TRUE)现在拟合您选择的模型：
mod_fit <- train(Class ~., data = Sonar, method = "rf", trControl = ctrl)mod_fit$results#output mtry Accuracy Kappa ROC Sens Spec AUC Precision Recall F AccuracySD KappaSD1 2 0.8364069 0.6666364 0.9454798 0.9280303 0.7333333 0.8683726 0.8121087 0.9280303 0.8621526 0.10570484 0.21620772 31 0.8179870 0.6307880 0.9208081 0.8840909 0.7411111 0.8450612 0.8074942 0.8840909 0.8374326 0.06076222 0.12218443 60 0.8034632 0.6017979 0.9049242 0.8659091 0.7311111 0.8332068 0.7966889 0.8659091 0.8229330 0.06795824 0.1369086 ROCSD SensSD SpecSD AUCSD PrecisionSD RecallSD FSD1 0.04393947 0.05727927 0.1948585 0.03410854 0.12717667 0.05727927 0.084829632 0.04995650 0.11053858 0.1398657 0.04694993 0.09075782 0.11053858 0.057723883 0.04965178 0.12047598 0.1387580 0.04820979 0.08951728 0.12047598 0.06715206在这个输出中，ROC实际上是ROC曲线下面积 – 通常称为AUC，而AUC是精确度-召回率曲线在所有截止点下的面积。
