我知道对于一个二元分类器来说,准确率越远离0.5,分类器的表现就越好。(即,一个总是出错的二元分类器可以通过始终颠倒其决策来变成一个总是正确的分类器。)
然而,我有一个内部的特征选择过程,它为我提供了“好的”特征来使用(我正在尝试递归特征消除法,以及基于斯皮尔曼等级相关系数的另一种方法)。鉴于使用这些“好的”特征的分类器在交叉验证中的准确率为0,我是否仍然可以得出结论,这些选出的特征是有用的,并且在这一二元预测问题中可以预测类别?
回答:
为了简化,让我们假设你在测试一个平衡的数据集。一半的测试数据是正类,另一半是负类。
我认为有些奇怪的事情正在发生,导致你的决策符号被翻转。你正在评估的分类器非常有用,但你需要翻转它做出的决策。你应该检查你的代码,确保你没有翻转训练数据的类别。一些库(例如LIBSVM)要求第一个训练样本来自正类。
总结:看起来你选择的特征是有用的,但似乎你有一个错误导致类别被翻转。