我在使用朴素贝叶斯和CountVectorizer进行方言分类时，读到了一篇研究论文，作者使用了以下组合：

bigrams + trigrams + word-marks词汇

这里作者所说的word-marks，指的是特定方言的特定词汇。

我如何调整CountVectorizer中的这些参数呢？

word marks

这些是word marks的例子，但这不是我所拥有的，因为我的数据是阿拉伯语，所以我翻译了它们。

word_marks=['love', 'funny', 'happy', 'amazing']

这些词汇被用来对文本进行分类。

此外，在这个帖子中：理解sklearn中CountVectorizer的ngram_range参数

有一个回答是这样的：

>>> v = CountVectorizer(ngram_range=(1, 2), vocabulary={"keeps", "keeps the"})>>> v.fit_transform(["an apple a day keeps the doctor away"]).toarray()array([[1, 1]])  # 找到了单字和双字组合

我无法理解输出，[1,1]在这里意味着什么？他是如何同时使用ngram和词汇的？这两者不是互斥的吗？

回答：

你想要使用n_gram范围参数来使用bigrams和trigrams。在你的情况下，应该是CountVectorizer(ngram_range=(1, 3))。

查看这个问题的接受答案以获取更多细节。

请为你的问题的另一部分提供“word-marks”的例子。

你可能需要运行两次CountVectorizer – 一次用于n-grams，一次用于你自定义的word-mark词汇。你可以将两次CountVectorizer的输出连接起来，得到一个包含n-gram计数和自定义词汇计数的单一特征集。上述问题的答案也解释了如何为第二次使用CountVectorizer指定自定义词汇。

这里有一个关于连接数组的SO回答