当我使用一个不平衡的数据集，其中75%的标签为“真”，25%的标签为“假”时，我应该如何设置libSVM中的gamma和Cost参数？我因为数据不平衡而一直得到所有预测标签都被设为“真”的错误。

如果问题不在于libSVM，而在于我的数据集，从理论机器学习的角度来看，我应该如何处理这种不平衡？我使用的特征数量在4到10之间，并且我只有250个数据点的小数据集。

回答：

类别不平衡与C和gamma的选择无关，要处理这个问题，你应该使用类别加权方案，例如在scikit-learn包中（基于libsvm构建）就有这种方案。

选择最佳的C和gamma值可以通过使用带有交叉验证的网格搜索来实现。你应该尝试广泛的数值范围，对于C，合理选择的数值范围在1到10^15之间，而对于gamma的一个简单且有效的启发式方法是计算所有数据点之间的成对距离，并根据这个分布的百分位数选择gamma – 可以想象在每个点上放置一个方差等于1/gamma的高斯分布 – 如果你选择的gamma使得这个分布与许多点重叠，你将得到一个非常“平滑”的模型，而使用较小的方差则会导致过拟合。