我有一个不平衡的数据集。我使用SMOTE（合成少数类过采样技术）进行过采样。在进行二元分类时，我在这个过采样的数据集上使用了10折交叉验证。

然而，我最近看到了一篇论文；联合使用过采样和欠采样技术及交叉验证来开发和评估预测模型，该论文提到在交叉验证过程中使用过采样的数据集是不正确的，因为这会导致性能估计过于乐观。

我想验证在交叉验证中使用过采样数据的正确方法/程序？

回答：

在使用监督过滤器时，为了避免在Weka中进行交叉验证时出现过于乐观的性能估计，可以使用FilteredClassifier（在meta类别中），并配置你想要使用的过滤器（例如SMOTE）和分类器（例如朴素贝叶斯）。

对于每个交叉验证折，Weka将仅使用该折的训练数据来参数化过滤器。

当你使用SMOTE时，你不会在Weka的结果窗口中看到实例数量的变化，但实际上Weka是在应用了SMOTE的数据集上构建模型，然后在未过滤的训练集上评估并显示输出——这有助于理解真实性能。尝试更改SMOTE过滤器设置（例如-P设置，它控制生成的少数类实例的数量百分比），你应该会看到性能的变化，这表明过滤器确实起作用了。

FilteredClassifier的使用在这个视频和这些幻灯片中有所展示，这些来自于在线课程《更多数据挖掘与Weka》。在这个例子中，过滤操作是监督离散化，而不是SMOTE，但同样的原理适用于任何监督过滤器。

如果你对SMOTE技术有进一步的问题，我建议你可以在Cross Validated和/或Weka邮件列表上提问。