我在使用支持向量机进行文档分类。每个文档的特征集是一个tf-idf向量。我有M个文档，每个tf-idf向量的大小为N，形成了一个M * N的矩阵。
M的大小只有10个文档，而tf-idf向量是1000个词的向量。因此，我的特征数量远大于文档数量。此外，每个词出现在2到3个文档中。当我对每个特征（词）进行归一化，即在[0,1]范围内进行列归一化时，
val_feature_j_row_i = ( val_feature_j_row_i - min_feature_j ) / ( max_feature_j - min_feature_j)结果当然要么是0，要么是1。
这导致了糟糕的结果。我使用的是libsvm，并采用了径向基函数，C = 0.0312，gamma = 0.007815
有什么建议吗？
我应该增加更多的文档吗？还是应该使用其他函数如sigmoid，或者更好的归一化方法？
回答：
需要考虑和修正的事项列表相当长，因此首先我建议在尝试解决问题之前进行一些机器学习方面的阅读。有很多优秀的书籍（例如Haykin的《神经网络与学习机器》）以及在线课程，可以帮助你掌握这些基础知识，像这里列出的一些：http://www.class-central.com/search?q=machine+learning 。
回到问题本身：
- 10个文档的数量级太小，无法获得任何显著的结果和对问题的洞察，
- 没有通用的数据预处理方法，你必须通过大量测试和数据分析来进行分析，
- SVM是参数模型，你不能使用单一的
C和gamma值并期望得到合理的结果。你需要检查数十个这样的值，才能找到“搜索方向”。最简单的方法是所谓的网格搜索， - 1000个特征是一个很大的维度，这表明使用核函数（暗示无穷维特征空间）是相当…多余的——首先分析更简单的核函数（线性或低次多项式），它们过拟合的可能性更小，可能是更好的选择，
- 最后，如果“每个词出现在2到3个文档中”，tf*idf是否是一个好的选择？这可能值得怀疑，除非你实际指的是20-30%的文档
最后，为什么简单特征压缩
结果当然要么是0，要么是1。
应该在[0,1]区间内产生值，而不仅仅是其边界。所以，如果情况如此，你的实现可能存在一些错误。
