我正在尝试使用文本分类和SVM进行一些实验。

我的理解是，通常选择训练矩阵特征的方法是使用“词袋”模型，基本上我们会得到一个矩阵，这个矩阵的列数与文档中不同词的数量相同，而这些列的值则是每个单词在每个文档中的出现次数（当然，每个文档由一行表示）。

这样一切都运行良好，我可以训练我的算法等等，但有时候我会遇到这样的错误：

在整理过程中出现错误：测试数据与模型不匹配！

通过进一步研究，我在这个问题中找到了答案 predict.svm中的错误：测试数据与模型不匹配，它基本上说明了如果你的模型具有特征A、B和C，那么你要分类的新数据应该包含列A、B和C。当然，对于文本来说，这有点棘手，我的新文档中可能包含分类器在训练集中从未见过的词。

更具体地说，我使用的是RTextTools库，它内部使用了SparseM和tm库，用于训练svm的对象类型为“matrix.csr”。

不考虑库的具体细节，我的疑问是，在文档分类中是否有任何技术可以确保训练文档和新文档具有不同词的事实不会阻止新数据被分类？

更新 @lejlot建议的解决方案在RTextTools中非常简单，只需在使用create_matrix函数时使用originalMatrix可选参数即可。基本上，originalMatrix应该是你在使用create_matrix函数训练数据时创建的相同矩阵。所以在你训练完数据并拥有模型后，还要保留原始文档矩阵，当使用新示例时，确保在创建预测集的新矩阵时使用此对象。

回答：

不考虑库的具体细节，我的疑问是，在文档分类中是否有任何技术可以确保训练文档和新文档具有不同词的事实不会阻止新数据被分类？

是的，而且非常简单。在进行任何训练或分类之前，你创建一个预处理对象，它应该将文本映射到你的向量表示。特别是 – 它存储用于训练的整个词汇。之后，你在测试文档上重用相同的预处理对象，你只需忽略词汇表之外的词（这些词通常在文献中被称为OOV词）。

显然，还有很多其他更“启发式”的方法，而不是丢弃，你可以尝试将它们映射到现有词（尽管这在理论上不太合理）。相反，你应该创建一个中间表示，这将是你的新“预处理”对象，它可以处理OOV词（通过某种莱文斯坦距离映射等）。