我有一个信用卡数据集，其中98%的交易是非欺诈，2%是欺诈。
我在训练和测试拆分之前对多数类进行欠采样，测试集上的召回率和精确率都非常好。
当我仅对训练集进行欠采样并在独立集上测试时，精确率非常差，但召回率相同！
我的问题是：
我应该在拆分成训练和测试集之前进行欠采样吗？这样做会不会扰乱数据集的分布，使其不能代表真实世界的情况？
还是上述逻辑仅适用于过采样？
谢谢
回答：
如果你有机会收集更多数据，这可能是最佳解决方案。（假设你已经尝试过这一步）
如果精确率差而召回率好，这表明你的模型在预测欺诈类为欺诈方面表现良好，但对于非欺诈类，模型常常会混淆，大多数时候它会将非欺诈类预测为欺诈（如果你将多数类设为0，少数类设为1）。这意味着你需要尝试降低多数类的欠采样率。
通常，欠采样/过采样只在训练集上进行，这是正确的方法。然而，
-
在欠采样之前，确保你的训练集的类别分布与主数据集相同。（在拆分时使用分层抽样）
-
如果你使用python的
sklearn库来训练你的分类器，设置参数class_weight='balanced'。
例如：
from sklearn.linear_model import LogisticRegression Lr = LogisticRegression(class_weight='balanced')- 尝试使用不同算法和不同的超参数，如果模型欠拟合，可以考虑选择XGboost。
如果你在拆分前进行欠采样，那么测试集的分布可能无法复制真实世界数据的分布。因此，人们通常避免在拆分前进行采样。
