我在计算文档分类中的逆文档频率（IDF）时有疑问。我有多个类别，每个类别包含多个用于训练的文档。我使用以下公式计算文档中每个词的IDF：
IDF(t,D)=log(Total Number documents/Number of Document matching term);我的问题是：
- “语料库中的总文档数”是什么意思？是指当前类别的文档数量，还是所有可用类别的文档数量？
- “匹配词的文档数量”是什么意思？是指当前类别中匹配词的文档数量，还是所有可用类别中匹配词的文档数量？
回答：
Total Number documents in Corpus 只是你语料库中文档的数量。所以如果你有20个文档，那么这个值就是 20。
Number of Document matching term 是指词 t 出现的文档数量。所以如果你总共有20个文档，而词 t 在其中15个文档中出现，那么 Number of Documents matching term 的值就是15。
因此，这个例子的值将是 IDF(t,D)=log(20/15) = 0.1249
如果我没记错的话，你的每个文档有多个类别，你希望能够用这些类别中的一个或多个来对新文档进行分类。一种方法是为每个类别创建一个文档。每个类别文档应包含所有标记为该类别的文本。然后你可以对这些文档执行 tf*idf 操作。
然后，可以通过使用为每个类别计算的不同词值来对查询的词值进行求和，从而简单地对新文档进行分类。使用用于计算乘积的词值，结果最高的类别将被排在第一位。
另一种可能性是使用查询中每个词的 idf 创建一个查询向量。查询中未出现的所有词的值设为 0。然后可以使用例如 余弦相似度 将查询向量与每个类别向量进行相似性比较。
平滑 也是处理查询中未在语料库中出现的词的有用技术。
我建议阅读由Christopher D. Manning、Prabhakar Raghavan和Hinrich Schütze撰写的《信息检索导论》中的第6.2和6.3节。
