在计算机视觉和目标检测中,常用的评估方法是mAP。它是什么以及如何计算?
回答:
引文来自上述提到的 Zisserman 论文 – 4.2 结果评估(第11页):
首先定义一个“重叠标准”,即交并比大于0.5。(例如,如果预测框满足此标准与真实框匹配,则被视为检测)。然后使用这种“贪婪”方法在真实框和预测框之间进行匹配:
方法输出的检测结果按(递减的)置信度输出顺序分配给满足重叠标准的真实对象。同一图像中对同一对象的多次检测被视为错误检测,例如,对单个对象的5次检测计为1次正确检测和4次错误检测
因此,每个预测框要么是真阳性,要么是假阳性。每个真实框都是真阳性。没有真阴性。
然后通过在精确度-召回率曲线上平均精确度值来计算平均精确度,其中召回率在范围 [0, 0.1, …, 1] 内(例如,11个精确度值的平均值)。更精确地说,我们考虑一个稍微修正的PR曲线,对于每个曲线点 (p, r),如果存在另一个曲线点 (p’, r’) 使得 p’ > p 且 r’ >= r,我们用这些点的最大 p’ 替换 p。
对我来说仍然不清楚的是,对于那些从未被检测到的真实框(即使置信度为0)会如何处理。这意味着精确度-召回率曲线将永远无法达到某些召回率值,这使得上述平均精确度计算变得未定义。
编辑:
简短回答:在召回率无法达到的区域,精确度降至0。
一种解释方式是假设当置信度阈值接近0时,无限多的预测边界框会在整个图像上亮起。然后精确度立即降至0(因为真实框的数量是有限的),而召回率在这个平坦的曲线上继续增长,直到达到100%。