在R中使用SMOTE和caret进行调试

我正在尝试在caret包的trainControl函数中使用SMOTE。根据作者的示例,我这样做:

#首先,创建一个不平衡的数据集set.seed(2969)imbal_train <- twoClassSim(10000, intercept = -20, linearVars = 20)imbal_test  <- twoClassSim(10000, intercept = -20, linearVars = 20)table(imbal_train$Class)Class1 Class2  9411    589

我想使用SMOTE算法来对少数类进行过采样。然而,这需要谨慎处理。例如,我们不应该在进行交叉验证之前进行过采样。这会导致乐观的泛化误差。

#创建我的折叠(在本例中是5个)folds <- createFolds(factor(imbal_train$Class), k = 5, list = TRUE,returnTrain=TRUE)#设置我的训练阶段的trainControl.ctrl <- trainControl(method = "cv", index = folds,                 classProbs = TRUE,                 summaryFunction = twoClassSummary,                 savePredictions = "all",                 ## 新选项在这里:                 sampling = "smote")#训练模型set.seed(5627)smote_inside <- train(Class ~ ., data = imbal_train,                  method = "treebag",                  nbagg = 50,                  metric = "ROC",                  trControl = ctrl)

它运行时没有出错。现在我想查看每次迭代中使用的训练和测试集。我需要确保在对训练文件夹进行过采样之前,一个文件夹被保留下来,并且在其中没有创建新的合成记录。

查看train输出的对象,我发现smote_inside$control可能包含一些信息。具体来说,它包含了indexindex_out:这些是每次cv迭代中训练和测试的行索引。然而,当我这样做时:

lista=smote_inside$controldd=imbal_train[lista$index$Fold1,] #第一次cv迭代的训练数据table(dd$Class)Class1 Class2 7529    471 

你可以看到它仍然是不平衡的。SMOTE应该会从少数类中创建一些合成记录。也许这些信息保存在其他地方?

问题:

  1. 如何查看使用SMOTE平衡数据时创建的新训练记录?

  2. 如何确保测试文件夹没有被过采样污染?

  3. 在哪里可以找到caret对SMOTE的处理方式?指向源代码的指针。


回答:

一些答案:

  1. 它不保留这些信息

  2. 它被设计为不会污染保留数据。如果你想要证明(除了你引用的链接中显示的内容之外),可以查看createModel来看看它是如何进行采样的,以及predictionFunction来查看数据在预测前的处理方式。

  3. 包的源代码几乎随处可得。上面提到的两个函数(连同probFunction)完成了这项工作。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注