在Keras中进行多标签分类时,哪种指标更好:accuracy
还是categorical_accuracy
?显然,在这种情况下,最后的激活函数是sigmoid
,损失函数是binary_crossentropy
。
回答:
我不会在类别不平衡的分类任务中使用准确率(Accuracy)。特别是在多标签任务中,你的大部分标签可能是False。也就是说,每个数据点只能有一小部分标签,相对于所有可能标签的总数而言。因此,如果你的模型预测所有标签都是False(sigmoid激活输出< 0.5),那么你测量出的准确率会非常高,所以准确率并不是一个好的指标。
我会分析每个epoch的AUC或召回率/精确率。另外,多标签任务也可以看作是排序任务(如推荐系统),你可以评估前k个预测标签的精确率@k或召回率@k,其中k是预测的前几位标签。
如果你的Keras后端是TensorFlow,可以在这里查看支持的完整指标列表:https://www.tensorflow.org/api_docs/python/tf/keras/metrics。