我在使用libsvm对数据进行分类时遇到了问题。我的训练和测试数据非常不平衡。当我对svm参数进行网格搜索并使用类别权重训练数据时，测试结果显示准确率为96.8113%。但由于测试数据不平衡，所有正确预测的值都来自于负类，而负类的数量大于正类。
我尝试了很多方法，从调整权重到改变gamma和cost值，但我的归一化准确率（考虑了正类和负类）在每次尝试中都更低。使用默认的grid.py参数训练50%的正样本和50%的负样本，我的准确率非常低（18.4234%）。
我想知道问题出在我的描述上（如何构建特征向量），还是数据不平衡上（我应该以另一种方式使用平衡数据？），或者我应该更换分类器？
回答：
更好的数据总是有帮助的。
我认为不平衡是问题的一部分。但更重要的问题是你如何评估你的分类器。根据数据中正负样本的分布来评估准确率几乎是无用的。同样，在50%对50%的数据上训练，然后在分布为99%对1%的数据上测试也是如此。
现实生活中存在许多类似你研究的问题（正负样本极度不平衡）。让我给你举两个例子：
-
信息检索：给定一个庞大的文档集合，返回与搜索词q相关的子集。
-
人脸检测：在这张大图像中标记所有有人脸的位置。
这些类型的系统的许多方法都是基于分类器的。为了评估两个分类器，通常使用两种工具：ROC曲线、精确度-召回率曲线和F分数。这些工具提供了一种更原则性的方法来评估一个分类器是否比另一个表现得更好。
