在R中使用SMOTE和caret进行调试

我正在尝试在caret包的trainControl函数中使用SMOTE。根据作者的示例,我这样做:

#首先,创建一个不平衡的数据集set.seed(2969)imbal_train <- twoClassSim(10000, intercept = -20, linearVars = 20)imbal_test  <- twoClassSim(10000, intercept = -20, linearVars = 20)table(imbal_train$Class)Class1 Class2  9411    589

我想使用SMOTE算法来对少数类进行过采样。然而,这需要谨慎处理。例如,我们不应该在进行交叉验证之前进行过采样。这会导致乐观的泛化误差。

#创建我的折叠(在本例中是5个)folds <- createFolds(factor(imbal_train$Class), k = 5, list = TRUE,returnTrain=TRUE)#设置我的训练阶段的trainControl.ctrl <- trainControl(method = "cv", index = folds,                 classProbs = TRUE,                 summaryFunction = twoClassSummary,                 savePredictions = "all",                 ## 新选项在这里:                 sampling = "smote")#训练模型set.seed(5627)smote_inside <- train(Class ~ ., data = imbal_train,                  method = "treebag",                  nbagg = 50,                  metric = "ROC",                  trControl = ctrl)

它运行时没有出错。现在我想查看每次迭代中使用的训练和测试集。我需要确保在对训练文件夹进行过采样之前,一个文件夹被保留下来,并且在其中没有创建新的合成记录。

查看train输出的对象,我发现smote_inside$control可能包含一些信息。具体来说,它包含了indexindex_out:这些是每次cv迭代中训练和测试的行索引。然而,当我这样做时:

lista=smote_inside$controldd=imbal_train[lista$index$Fold1,] #第一次cv迭代的训练数据table(dd$Class)Class1 Class2 7529    471 

你可以看到它仍然是不平衡的。SMOTE应该会从少数类中创建一些合成记录。也许这些信息保存在其他地方?

问题:

  1. 如何查看使用SMOTE平衡数据时创建的新训练记录?

  2. 如何确保测试文件夹没有被过采样污染?

  3. 在哪里可以找到caret对SMOTE的处理方式?指向源代码的指针。


回答:

一些答案:

  1. 它不保留这些信息

  2. 它被设计为不会污染保留数据。如果你想要证明(除了你引用的链接中显示的内容之外),可以查看createModel来看看它是如何进行采样的,以及predictionFunction来查看数据在预测前的处理方式。

  3. 包的源代码几乎随处可得。上面提到的两个函数(连同probFunction)完成了这项工作。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注