我有一个关于使用词袋模型或类似方法进行分类的普遍问题。

我有一些需要分类的文本。我知道这些类别，并且知道文本中的每个句子属于一种类型的句子。例如，句子1应该是命令，句子2应该是新闻，等等。

所以我想的是使用n-gram生成来进行特征提取，我的想法是词的n-gram可能有助于机器找到正确的类别。但是使用Python实现这个想法对我来说并不容易。我无法将概念与实现联系起来。例如，我不确定我是否需要提供所有可能属于每个类别的POS标签块，或者机器可以自己找到它们。此外，我觉得n-gram在这类分析中可能有帮助。但我不知道如何做。

如果能给我一些建议或告诉我进行这种分类的步骤，那就太好了。

祝好

回答：

在这种类型的分析中使用n-gram，你可以提取文本中出现的所有n-gram。然后，你可以按以下方式计算每个句子中每个n-gram的TF-IDF：

• TF：表示n-gram在句子中出现的次数。
• IDF：表示包含该n-gram的句子的比例。

这将为你提供一个TF-IDF指标，用于衡量“给定所有句子时每个n-gram对每个句子的价值”。一旦你有了TF-IDF指标，你就可以将句子输入到标准的监督方法中。

对于每个类别，你还可以基于n-gram、POS标签，甚至是依赖解析的句子构建语言模型。然后，给定一个新句子，你可以计算该句子从每个语言模型中生成的可能性。同样，你可以在监督学习方法中利用这些概率值。

我建议你查看以下文章：

1 – 在这里查看第5.1节，了解TF-IDF的使用

2- 该文档提供了语言模型使用的一个例子

祝你好运；）