如何测试包含未知词的文本分类问题？在训练模型时，我们可以使用平滑技术（拉普拉斯加1法）确保每个词在每个类别中至少被计数一次。

那么，在测试阶段呢？如果一个词在训练数据中没有出现，最好的处理方法是什么？是简单地跳过它，还是也给它一个出现次数1？

感谢任何建议或意见。特别是，我正在使用朴素贝叶斯分类器。

回答：

当你对一个实例进行分类时，考虑一下实际情况，如果你对未见过的特征使用加1平滑，那么你只需将一个非常小的概率（1 / 词汇量）乘到你的累积分数上（或者加上一个非常小概率的对数）。如果你跳过未见过的特征，那么分数不会发生变化。

因此，一般来说，测试数据中的未见特征不应该影响你的分类决策——你对它一无所知，因为你在训练中没有见过它，所以在使用平滑的情况下，你会对所有类别的分数乘以（或加上）相同的很小的（对数）概率，或者你会简单地忽略它对所有类别分数的影响。

如果你不确定，不妨尝试这两种方法，看看是否有任何区别。