我在评估一些用于二分类问题的机器学习模型时，发现添加一个非二进制特征后出现了奇怪的结果。

我的数据集包括推文和其他与之相关的值，因此主要特征向量是一个稀疏矩阵（5000列），使用scikit-learn的Tf-idf向量化器对推文进行处理，并通过SelectKBest进行特征选择。

我想添加的另外两个特征都是单列的密集矩阵。我将它们转换为稀疏矩阵，并使用scipy的hstack函数将其添加到主要特征向量上。第一个特征是二进制的，仅添加这个特征时，一切正常，准确率约为60%。然而，第二个特征是整数值，添加这个特征后结果变化很大。

我正在测试逻辑回归、支持向量机（rbf）和多项式朴素贝叶斯。当添加最后一个特征时，SVM的准确率提高到80%，但对于逻辑回归，它现在总是预测同一个类别，而MNB也非常严重地偏向于那个类别。

SVM confusion matrix[[13112  3682] [ 1958  9270]]MNB confusion matrix[[13403  9803] [ 1667  3149]]LR confusion matrix[[15070 12952] [    0     0]]

谁能解释这是为什么？我不明白为什么这个额外的特征会导致两个分类器实际上变得冗余，但却大大改善了另一个分类器的表现？谢谢！

回答：

听起来你的额外特征是非线性的。NB和LR都假设特征是线性的。SVM只假设变量是线性可分的。这直观地意味着SVM正在为你的变量优化一个“截止”值。如果你仍然想使用LR或NB，你可以尝试转换这个变量使其线性，或者你可以尝试根据这个阈值将其转换为二进制指示变量，这样可能会提高模型的性能。

请查看https://stats.stackexchange.com/questions/182329/how-to-know-whether-the-data-is-linearly-separable以获取更多相关阅读。