我正在尝试在caret
包的trainControl
函数中使用SMOTE
。根据作者的示例,我这样做:
#首先,创建一个不平衡的数据集set.seed(2969)imbal_train <- twoClassSim(10000, intercept = -20, linearVars = 20)imbal_test <- twoClassSim(10000, intercept = -20, linearVars = 20)table(imbal_train$Class)Class1 Class2 9411 589
我想使用SMOTE
算法来对少数类进行过采样。然而,这需要谨慎处理。例如,我们不应该在进行交叉验证之前进行过采样。这会导致乐观的泛化误差。
#创建我的折叠(在本例中是5个)folds <- createFolds(factor(imbal_train$Class), k = 5, list = TRUE,returnTrain=TRUE)#设置我的训练阶段的trainControl.ctrl <- trainControl(method = "cv", index = folds, classProbs = TRUE, summaryFunction = twoClassSummary, savePredictions = "all", ## 新选项在这里: sampling = "smote")#训练模型set.seed(5627)smote_inside <- train(Class ~ ., data = imbal_train, method = "treebag", nbagg = 50, metric = "ROC", trControl = ctrl)
它运行时没有出错。现在我想查看每次迭代中使用的训练和测试集。我需要确保在对训练文件夹进行过采样之前,一个文件夹被保留下来,并且在其中没有创建新的合成记录。
查看train
输出的对象,我发现smote_inside$control
可能包含一些信息。具体来说,它包含了index
和index_out
:这些是每次cv迭代中训练和测试的行索引。然而,当我这样做时:
lista=smote_inside$controldd=imbal_train[lista$index$Fold1,] #第一次cv迭代的训练数据table(dd$Class)Class1 Class2 7529 471
你可以看到它仍然是不平衡的。SMOTE应该会从少数类中创建一些合成记录。也许这些信息保存在其他地方?
问题:
-
如何查看使用SMOTE平衡数据时创建的新训练记录?
-
如何确保测试文件夹没有被过采样污染?
-
在哪里可以找到caret对SMOTE的处理方式?指向源代码的指针。
回答:
一些答案:
-
它不保留这些信息
-
它被设计为不会污染保留数据。如果你想要证明(除了你引用的链接中显示的内容之外),可以查看
createModel
来看看它是如何进行采样的,以及predictionFunction
来查看数据在预测前的处理方式。 -
包的源代码几乎随处可得。上面提到的两个函数(连同
probFunction
)完成了这项工作。