我正在尝试使用sklearn中的TfidfVectorizer来输出一个包含单字和双字的输入列表的tf-idf得分。

以下是我所做操作的核心内容：

comprehensive_ngrams = comprehensive_unigrams + comprehensive_bigrams # 单字和双字的列表（comprehensive_unigrams和comprehensive_bigrams本身就是列表）
print("输入列表的长度: ", len(comprehensive_ngrams))
vectorizer = TfidfVectorizer(ngram_range = (1,2), lowercase = True)
vectorizer.fit(comprehensive_ngrams)
vocab = vectorizer.vocabulary_
print("学习到的词汇表长度: ", len(vocab))
term_document_matrix = vec.toarray()
print("词文档矩阵的形状是: ", term_document_matrix.shape)

这段代码输出了以下内容：

输入列表的长度: 12333
学习到的词汇表长度: 6196
词文档矩阵的形状是: (12333, 6196)

由TfidfVectorizer生成的将输入元素映射到位置索引的字典长度短于它接收到的唯一输入数量。对于较小的数据集（约50个元素的数量级）似乎没有这个问题 – TfidfVectorizer拟合后生成的字典大小等于输入大小。

我错过了什么？

回答：

确保comprehensive_ngrams是一个由唯一单词组成的列表。即：

assert len(set(comprehensive_ngrams)) == len(comprehensive_ngrams)