我在使用Python的nltk库,并且想绘制我的分类器(朴素贝叶斯)的ROC曲线。是否有现成的函数可以直接绘制,还是我需要自己跟踪真阳性率和假阳性率?
如果有人能提供一些现成的代码示例就太好了…
谢谢。
回答:
这是如何与NLTK的朴素贝叶斯分类器一起使用的示例:
# 类标签为0和1labeled_data = [ (1, featureset_1), (0, featureset_2), (1, featureset_3), # ...]# naive_bayes是你已经训练好的分类器,# 最好不要在你测试的数据上进行训练 :)from pyroc import ROCDataroc_data = ROCData( (label, naive_bayes.prob_classify(featureset).prob(1)) for label, featureset in labeled_data)roc_data.plot()
编辑:
- ROC曲线仅适用于二元分类器。如果你有三个类别,你可以分别测量你的正类和负类的性能(通过将其他两个类别计为0,就像你提议的那样)。
- 该库期望每个元组的第二个值是决策函数的输出。它会尝试所有可能的阈值,例如f(x) >= 0.8 => 分类为1,并为每个阈值绘制一个点(这就是为什么你最终得到一条曲线)。所以如果你的分类器猜测类别0,你实际上希望得到一个更接近零的值。这就是为什么我建议使用
.prob(1)