如何正确地将不平衡数据集分割为训练集和测试集?

我有一个航班延误的数据集,尝试在采样前将数据集分割为训练集和测试集。准时到达的案例约占总数据的80%,延误的案例约占20%。

在机器学习中,通常训练集和测试集的比例是8:2。但是数据过于不平衡。因此,在极端情况下,大多数训练数据是准时到达的案例,而大多数测试数据是延误的案例,准确率会很差。

所以我的问题是,如何正确地将不平衡数据集分割为训练集和测试集?


回答:

仅仅通过调整训练集和测试集的比例,可能无法得到正确的预测和结果。

如果你处理的是不平衡数据集,你应该尝试使用重新采样的技术来获得更好的结果。在不平衡数据集的情况下,分类器总是“预测”最常见的类别,而不进行任何特征分析。

此外,对于不平衡数据集的性能测量,应使用不同的指标,如F1分数等。

请参考下面的链接,会给你更多的清晰度。

分类问题中分割数据集的正确程序是什么?

克利夫兰心脏病数据集 – 无法描述类别

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注