伯努利模型中用于朴素贝叶斯分类器的拉普拉斯平滑

我需要实现一个朴素贝叶斯分类器来将文档分类到某个类别中。因此,在计算一个术语属于某个类别的条件概率时,结合拉普拉斯平滑,我们有:

prob(t | c) = Num(Word occurences in the docs of the class c) + 1 / Num(documents in class c) + |V|

这是一个伯努利模型,它将有1或0的值,而且词汇量非常大,可能有20000个单词等。因此,由于词汇量大,拉普拉斯平滑不会产生非常小的值,还是我做错了什么?

根据这个链接中的伪代码: http://nlp.stanford.edu/IR-book/html/htmledition/the-bernoulli-model-1.html,对于伯努利模型,我们只需添加2而不是|V|。为什么这样做呢?


回答:

考虑多项式朴素贝叶斯的案例。你上面定义的平滑方法确保永远不会得到零概率。

在多变量/伯努利情况下,还有一个额外的约束:不允许概率正好为1。这是因为当某个已知词汇中的t在文档d中不存在时,会将1 - prob(t | c)的概率乘到文档的概率上。如果prob(t | c)是1,那么这将再次产生0的后验概率。

(同样,当使用对数时,如果概率是1,则log(1 - prob(t | c))是未定义的)

因此,在伯努利方程(Nct + 1) / (Nc + 2)中,这两种情况都得到了保护。如果Nct == Nc,那么概率将是1/2而不是1。这也导致了无论t是否存在(P(t | c) == 1/2)或不存在(1 - P(t | c) == 1/2),都产生了1/2的可能性。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注