我在Java中使用Weka库构建一个文本分类器。

首先，我移除停用词，然后使用词干提取器（例如，将cars转换为car）。目前我有6个预定义的类别。我对每个类别的5个文档进行训练。这些文档的长度相似。

当要分类的文本较短时，结果还可以。但当文本超过100个词时，结果变得越来越奇怪。

我返回每个类别的概率如下：概率：

[0.0015560238056109177, 0.1808919321002592, 0.6657404531908249, 0.004793498469427115, 0.13253647895234325, 0.014481613481534815] 

这是一个相当可靠的分类结果。

但当我使用超过100个词的文本时，我得到的结果如：

概率: [1.2863123678314889E-5, 4.3728547754744305E-5, 0.9964710903856974, 5.539960514402068E-5, 0.002993481218084141, 4.234371196414616E-4]

这太好了。

目前我使用的是多项式朴素贝叶斯来对文档进行分类。我已经阅读了一些相关资料，发现它在处理较长的文本时可能会表现得奇怪。这可能就是我现在遇到的问题吗？

为什么会这样？

回答：

这种行为可能有多种原因。如果你的训练和测试文本不在同一个领域内，可能会发生这种情况。此外，我认为为每个类别增加更多的文档会有所帮助。每个类别只有5个文档似乎太少了。如果你没有更多的训练文档，或者难以获得更多的训练文档，那么你可以在训练集中人为地添加正负实例（详细了解SMOTE算法）。请随时更新我们进展情况。