这个StackOverflow帖子讨论了在caret包中使用自定义性能测量函数的问题。你想要找到最佳的预测模型，因此你构建了多个模型，并通过计算一个从观察值和预测值比较中得出的单一指标来比较它们。计算这个指标有默认的函数，但你也可以定义自己的指标函数。这种自定义函数必须将obs和预测值作为输入。
在分类问题中（假设只有两个类别），预测值是0或1。然而，我需要评估的是模型中计算的概率。有没有办法实现这一点？
原因是有这样的应用场景，你需要知道一个1的预测实际上是99%的概率还是51%的概率——不仅仅是预测是1还是0。
谁能帮帮我？
编辑好的，让我再解释得详细一些。在caret包的文档中，5.5.5节（替代性能指标）描述了如何使用你自己的自定义性能函数，像这样
fitControl <- trainControl(method = "repeatedcv", number = 10, repeats = 10, ## 估计类概率 classProbs = TRUE, ## 使用以下函数评估性能 summaryFunction = twoClassSummary)twoClassSummary是这个例子中的自定义性能函数。这里提供的函数需要将带有obs和pred的数据框或矩阵作为输入。关键在于——我想使用一个不接受观察值和预测值，而是接受观察值和预测概率的函数。
还有一点：
其他包的解决方案也欢迎。唯一不希望看到的是“这就是你如何编写自己的交叉验证函数。”
回答：
Caret确实支持在trainControl中指定classProbs = TRUE时将类概率传递给自定义摘要函数。在这种情况下，创建自定义摘要函数时的data参数将包含额外的两个列，名称为类别，包含每个类别的概率。这些类的名称将在lev参数中，它是一个长度为2的向量。
查看示例：
library(caret)library(mlbench)data(Sonar)自定义摘要LogLoss：
LogLoss <- function (data, lev = NULL, model = NULL){ obs <- data[, "obs"] #真实值 cls <- levels(obs) #查找类别名称 probs <- data[, cls[2]] #使用第二个类别名称提取第二类的概率 probs <- pmax(pmin(as.numeric(probs), 1 - 1e-15), 1e-15) #限定概率范围，这行和下面的代码只是logloss计算，与你的问题无关 logPreds <- log(probs) log1Preds <- log(1 - probs) real <- (as.numeric(data$obs) - 1) out <- c(mean(real * logPreds + (1 - real) * log1Preds)) * -1 names(out) <- c("LogLoss") #重要，因为这是在调用train时指定的。输出可以是多个值的命名向量。 out}fitControl <- trainControl(method = "cv", number = 5, classProbs = TRUE, summaryFunction = LogLoss)fit <- train(Class ~., data = Sonar, method = "rpart", metric = "LogLoss" , tuneLength = 5, trControl = fitControl, maximize = FALSE) #重要，取决于计算的性能度量fit#输出CART 208 samples 60 predictor 2 classes: 'M', 'R' No pre-processingResampling: Cross-Validated (5 fold) Summary of sample sizes: 166, 166, 166, 167, 167 Resampling results across tuning parameters: cp LogLoss 0.00000000 1.1220902 0.01030928 1.1220902 0.05154639 1.1017268 0.06701031 1.0694052 0.48453608 0.6405134LogLoss was used to select the optimal model using the smallest value.The final value used for the model was cp = 0.4845361.或者使用包含类别级别的lev参数，并定义一些错误检查
LogLoss <- function (data, lev = NULL, model = NULL){ if (length(lev) > 2) { stop(paste("你的结果有", length(lev), "个级别。LogLoss()函数不适用。")) } obs <- data[, "obs"] #真实值 probs <- data[, lev[2]] #使用第二个类别名称 probs <- pmax(pmin(as.numeric(probs), 1 - 1e-15), 1e-15) #限定概率范围 logPreds <- log(probs) log1Preds <- log(1 - probs) real <- (as.numeric(data$obs) - 1) out <- c(mean(real * logPreds + (1 - real) * log1Preds)) * -1 names(out) <- c("LogLoss") out}查看caret书籍的这一部分：https://topepo.github.io/caret/model-training-and-tuning.html#metrics
获取更多信息。如果你计划使用caret，这是一本很好的书，即使你不使用caret，也值得一读。
