在机器学习中,AUC是否比准确率更适合作为不平衡数据集的评估指标?如果不是,哪个是最佳评估指标?

在处理不平衡数据时,AUC是否更有效?因为在大多数情况下,如果我处理的是不平衡数据,准确率并不能提供正确的评估。即便准确率很高,模型的表现可能依然很差。如果不是AUC,哪个是处理不平衡数据的最佳衡量标准?


回答:

处理不平衡类别时,准确率并不是一个好的指标,因为如果一个类别的样本占1%,另一个类别的样本占99%,你可以将所有样本都分类为0,仍然能获得99%的准确率。

考虑到下面的混淆矩阵,你还应该分析精确率和召回率。这些指标可以告诉你假阳性和假阴性的总数。

混淆矩阵

然后你需要定义你的关注点。以预测性维护为例,假阳性是将健康的机器误分类为故障,而假阴性是将有故障的机器误分类为健康的。你可以拥有99%的准确率和极好的AUC,但精确率仍然可能是0%。

精确率和召回率

F1分数

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注