我正在尝试评估一个计算机视觉程序的性能,该程序用于在视频中检测对象。我有这个程序的三个不同版本,每个版本的参数不同。我已经对每个版本进行了基准测试,并得到了三对(假阳性百分比,假阴性百分比)的数据。
现在我想比较这些版本之间的性能,于是我在想是否有意义将假阳性和假阴性结合成一个单一的值,并用这个值来进行比较。例如,使用公式假阳性/假阴性,看哪个值更小。
回答:
其他几种可能的解决方案:
-你的假阳性率(fp)和假阴性率(fn)可能取决于一个阈值。如果你绘制一个曲线,其中y值为(1-fn),x值为(fp),你将绘制出接收者操作特征(ROC)曲线。ROC曲线下的面积(AUC)是一个常用的质量度量标准。
-如果有特定的感兴趣区域,AUC可以加权处理
-报告等错误率。对于某个阈值,fp=fn。报告这个值。