我需要实现一个朴素贝叶斯分类器来将文档分类到某个类别中。因此,在计算一个术语属于某个类别的条件概率时,结合拉普拉斯平滑,我们有:
prob(t | c) = Num(Word occurences in the docs of the class c) + 1 / Num(documents in class c) + |V|
这是一个伯努利模型,它将有1或0的值,而且词汇量非常大,可能有20000个单词等。因此,由于词汇量大,拉普拉斯平滑不会产生非常小的值,还是我做错了什么?
根据这个链接中的伪代码: http://nlp.stanford.edu/IR-book/html/htmledition/the-bernoulli-model-1.html,对于伯努利模型,我们只需添加2而不是|V|。为什么这样做呢?
回答:
考虑多项式朴素贝叶斯的案例。你上面定义的平滑方法确保永远不会得到零概率。
在多变量/伯努利情况下,还有一个额外的约束:不允许概率正好为1。这是因为当某个已知词汇中的t
在文档d
中不存在时,会将1 - prob(t | c)
的概率乘到文档的概率上。如果prob(t | c)
是1,那么这将再次产生0的后验概率。
(同样,当使用对数时,如果概率是1,则log(1 - prob(t | c))
是未定义的)
因此,在伯努利方程(Nct + 1) / (Nc + 2)
中,这两种情况都得到了保护。如果Nct == Nc
,那么概率将是1/2而不是1。这也导致了无论t
是否存在(P(t | c) == 1/2
)或不存在(1 - P(t | c) == 1/2
),都产生了1/2的可能性。