我正在尝试创建一个3-gram模型以应用机器学习技术。

我基本上的尝试如下:

我的词汇表:

{('o', 'r', 'd'): 0,('r', 'd', 'a'): 1,('r', 'd', 'b'): 2,('w', 'o', 'r'): 3}

我的单词中没有空格或特殊字符。所以当我运行这个时:

tr_test = vector.transform(['word1'])print(tr_test)print(tr_test.shape)

我得到这样的返回:

(0, 0)  1(0, 1)  1(0, 3)  1(1, 4) #这是形状

我认为这是对的…至少是有意义的…但我想用包含所有3-gram可能性的矩阵来表示每个单词。这样，每个单词将由一个(1×17576)的矩阵表示。现在我使用的是1×4的矩阵(在这种特殊情况下)，因为我的词汇表是基于我的数据构建的。

17576 (26^3) – 代表字母表中所有3个字母的组合(aaa, aab, aac, 等等…)

我尝试将我的词汇表设置为一个包含所有3-gram可能性的数组，像这样:

#这会创建一个包含所有3个字母组合的数组#['aaa', 'aab', 'aac', ...]keywords = [''.join(i) for i in itertools.product(ascii_lowercase, repeat = 3)]vector = CountVectorizer(analyzer=nltk.trigrams,ngram_range=(3,3), vocabulary=keywords)

这没有奏效…有人能想出如何做这个吗?

谢谢!!!

回答：

我尝试将分析器改为’char’，现在似乎工作了:

keywords = [''.join(i) for i in itertools.product(ascii_lowercase, repeat = 3)]vector = CountVectorizer(analyzer='char', ngram_range=(3,3), vocabulary=keywords)tr_test = vector.transform(['word1'])print(tr_test)

输出是:

  (0, 9909)  1  (0, 15253) 1

作为一个检查:

test = vector.transform(['aaa aab'])print(test)

输出:

(0, 0)  1(0, 1)  1