我正在提取文档的特征。其中一个特征是文档中单词的频率。问题在于，训练集和测试集中句子的数量不一定相同。因此，我需要以某种方式对其进行归一化。我想到的一种方法是将单词的频率除以文档中的句子数量。但我的导师告诉我，最好以对数方式进行归一化。我不知道这意味着什么。谁能帮帮我吗？

提前感谢，

附注：我还看到了这个话题，但它对我没有帮助。

回答：

首先要问的问题是，你接下来使用什么算法？对于许多算法来说，归一化词袋向量，使其总和为1，或者使其他某个范数为1就足够了。

然而，你不应该按句子数量进行归一化，而应该按文档中的总词数进行归一化。例如，你的测试语料库可能有更长的句子。

我认为你导师的建议意味着你不应该报告单词的计数，而是报告计数的对数。此外，我建议你一般性地研究一下TF/IDF度量。在我看来，这在文本挖掘中更为常见。