如何在使用Sklearn的Pipeline时进行数据集平衡?[duplicate]

我决定使用Sklearn的Pipeline类来确保我的模型不会受到数据泄露的影响。

然而,我的多类分类数据集极度不平衡(3个类别),因此需要实施数据集平衡。但是,我已经进行了充分的研究,但无法找到关于何时以及如何进行数据集重新平衡步骤的答案。它应该在缩放之前还是之后进行?应该在训练/测试分割之前还是之后进行?

为了简化起见,我不会使用SMOTE,而是使用随机少数类上采样。任何回答都将不胜感激。

我的代码如下:

#所有必要的包已经导入x = df['MACD', 'MFI', 'ROC', 'RSI', 'Ultimate Oscillator', 'Williams %R', 'Awesome Oscillator', 'KAMA',     'Stochastic Oscillator', 'TSI', 'Volume Accumulator', 'ADI', 'CMF', 'EoM', 'FI', 'VPT','ADX','ADX Negative',     'ADX Positive', 'EMA', 'CRA']y = df['Label']X_train, X_test, y_train, y_test = train_test_split(x, y, test_size = 0.3, random_state = 0)pipe = Pipeline([('sc', StandardScaler()),                  ('svc', SVC(decision_function_shape = 'ovr'))])candidate_parameters = [{'C': [0.0001, 0.001, 0.01, 0.1, 1, 2, 3],                         'gamma': [0.0001, 0.001, 0.01, 0.1, 1, 2, 3], 'kernel': ['poly']                         }]clf = GridSearchCV(estimator = pipe, param_grid = candidate_parameters, cv = 5, n_jobs = -1)clf.fit(X_train, y_train)

回答:

你需要在训练/测试分割之后进行重新平衡。在现实世界中,你不知道测试集会是什么,所以最好保持原始数据。你可以只重新平衡训练集以学习更好的模型,然后在原始测试数据集上进行测试。(你也可以保持验证集的原始状态)

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注