我想知道如何计算用于文本分类的逐点互信息。更具体地说，我想要对推文进行分类。我有一组标注过的推文数据集，并且我为每个类别准备了一个词典，词典里是属于该类别的词。基于这些信息，如何计算每条推文在每个类别上的逐点互信息，从而将推文分类到这些类别之一呢？

回答：

逐点互信息是衡量一个特征（在你的例子中是一个词）与一个类别（分类）之间关联性的度量，而不是文档（推文）与类别之间的关联性。公式可以在维基百科上找到：

                  P(x, y)pmi(x ,y) = log ------------                   P(x)P(y)

在该公式中，X是模拟词出现的随机变量，而Y是模拟类别出现的随机变量。对于给定的词x和给定的类别y，你可以使用逐点互信息来决定一个特征是否具有信息性，并据此进行特征选择。减少特征通常能提高分类算法的性能并显著加快其速度。然而，分类步骤是独立的——逐点互信息仅有助于你选择更好的特征来输入到你的学习算法中。

编辑：我在最初的帖子中没有提到的一点是，逐点互信息对词频敏感。让我们重写公式为

                  P(x, y)             P(x|y)pmi(x ,y) = log ------------ = log ------------                   P(x)P(y)             P(x)

当x和y完全相关时，P(x|y) = P(y|x) = 1，因此pmi(x,y) = 1/P(x)。较不常见的x（词）将比常见的x拥有更高的逐点互信息得分，即使两者都与y完全相关。