我已经在我的数据集上训练了一个SVM和逻辑回归分类器。这两个分类器都提供了一个与特征数量相同大小的权重向量。我可以通过选择权重最高的10个特征来选出10个最重要的特征。
我应该使用权重的绝对值吗？也就是说，选择绝对值最高的10个特征？
其次，我读到这只适用于线性核的SVM，而不适用于RBF核。对于非线性核，权重不再是线性的。为什么在非线性核SVM的情况下，权重向量不能用来确定特征的重要性？
回答：
正如我对类似问题的回答，任何线性分类器的权重向量都表明了特征的重要性：因为最终值是特征值与权重作为系数的线性组合，所以权重越大，对应的项对最终值的影响就越大。
因此，对于线性分类器，你可以选择权重最大的特征（而不是特征本身的最大值，或者权重与特征值的最大乘积）。
这也解释了为什么使用RBF等非线性核的SVM不具备这种特性：特征值和权重都被转换到另一个空间，你不能说更大的权重会导致更大的影响，详见维基百科。
