如何计算sklearn中的平均精确度得分?

根据这里对平均精确度(AP)得分的定义,AP的计算基于跨阈值的精确度和召回率的增量。

在average_precision_score函数中,必需的参数如下:
y_true:二元标签指示器中的真实二元标签。

y_score:目标得分,可以是正类的概率估计、置信值,或是决策的非阈值度量(如某些分类器的“decision_function”返回的)。

据我所知,y_true 是每条记录所属的真实类别列表。y_score 是与每条记录对应的预测类别列表。同样,对于二元分类任务,y_true = [1,0,0,1,1] 和 y_score = [0,0,0,1,0] 是可行的参数,其中对于第一条记录,真实类别是正类(1),但预测类别是负类(0)。

我们尝试使用不同的阈值进行分类任务。因此,每个阈值都会得到不同的y_score列表。在这种情况下,当我应用average_precision_score函数时,我会为每个阈值得到一个AP值,而不是如定义所暗示的跨阈值的单一值。无论如何,sklearn函数中并没有“threshold”参数。

您能告诉我我对sklearn中average_precision_score函数的理解是否正确吗?如果是的话,与定义的矛盾原因是什么?


回答:

你犯了一个错误:

Y_score的形式不是[0,0,1,0]

根据文档:

y_score : array, shape = [n_samples] or [n_samples, n_classes] 目标得分,可以是正类的概率估计、置信值,或是决策的非阈值度量(如某些分类器的“decision_function”返回的)。

这意味着它的形式是[[0.33,0.66][0.65,0.35][0.1,0.9]…]。你会得到每个类的概率。现在,阈值是从中决定为每个点分配哪个类的值。

例如,在我上面给出的列表中,如果阈值为0.4,如果被判定为1的概率大于0.4,那么我会分配1。使用这个阈值,我的向量现在是[1,0,1,…],但如果阈值是0.70,那么它就是[0,0,1,….]。

所以,通过一个预测,你可以应用不同的阈值,从而计算average_precision_score。精确度和召回率是基于阈值的。

几天前这里有一个很好的解释:理解ROC曲线

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注