我需要实现一个朴素贝叶斯分类器来将文档分类到某个类别中。因此，在计算一个术语属于某个类别的条件概率时，结合拉普拉斯平滑，我们有：

prob(t | c) = Num(Word occurences in the docs of the class c) + 1 / Num(documents in class c) + |V|

这是一个伯努利模型，它将有1或0的值，而且词汇量非常大，可能有20000个单词等。因此，由于词汇量大，拉普拉斯平滑不会产生非常小的值，还是我做错了什么？

根据这个链接中的伪代码： http://nlp.stanford.edu/IR-book/html/htmledition/the-bernoulli-model-1.html，对于伯努利模型，我们只需添加2而不是|V|。为什么这样做呢？

回答：

考虑多项式朴素贝叶斯的案例。你上面定义的平滑方法确保永远不会得到零概率。

在多变量/伯努利情况下，还有一个额外的约束：不允许概率正好为1。这是因为当某个已知词汇中的t在文档d中不存在时，会将1 - prob(t | c)的概率乘到文档的概率上。如果prob(t | c)是1，那么这将再次产生0的后验概率。

（同样，当使用对数时，如果概率是1，则log(1 - prob(t | c))是未定义的）

因此，在伯努利方程(Nct + 1) / (Nc + 2)中，这两种情况都得到了保护。如果Nct == Nc，那么概率将是1/2而不是1。这也导致了无论t是否存在（P(t | c) == 1/2）或不存在（1 - P(t | c) == 1/2），都产生了1/2的可能性。