我在使用 sklearn 的 Python 包时，遇到了一些问题。我想创建一个 CountVectorizer，使用预先创建的词典，但希望 CountVectorizer 不要删除仅出现一次或根本不出现的特征。

这是我目前的示例代码：

train_count_vect, training_matrix, train_labels = setup_data(train_corpus, query, vocabulary=None)test_count_vect, test_matrix, test_labels = setup_data(test_corpus, query, vocabulary=train_count_vect.get_feature_names())print(len(train_count_vect.get_feature_names()))print(len(test_count_vect.get_feature_names()))

len(train_count_vect.get_feature_names()) 输出 89967len(test_count_vect.get_feature_names()) 输出 9833

在 setup_data() 函数中，我只是初始化了 CountVectorizer。对于训练数据，我没有预设词汇表就进行了初始化。对于测试数据，我使用从训练数据中获取的词汇表来初始化 CountVectorizer。

如何使词汇表的长度相同？我认为 sklearn 会删除那些在测试语料库中仅出现一次或根本不出现的特征。我需要保持相同的词汇表，因为否则我的分类器与测试数据点的长度将会不同。

回答：

没有看到 setup_data 的源代码，无法确定具体情况，但我想我能大致猜出发生了什么。sklearn 遵循 fit_transform 格式，这意味着有两个阶段，具体来说是 fit 和 transform。

以 CountVectorizer 为例，fit 阶段有效地创建了词汇表，而 transform 步骤将你的输入文本转换到该词汇空间中。

我的猜测是你对两个数据集都调用了 fit，而不是只对一个数据集调用。如果你希望结果一致，你需要在两个数据集上使用同一个“已拟合”的 CountVectorizer 版本。例如：

model = CountVectorizer()transformed_train = model.fit_transform(train_corpus)transformed_test = model.transform(test_corpus)

再次强调，这只是在你发布 setup_data 函数之前的猜测，但根据之前的经验，我猜你可能在做类似这样的事情：

model = CountVectorizer()transformed_train = model.fit_transform(train_corpus)transformed_test = model.fit_transform(test_corpus)

这将为 test_corpus 创建一个新的词汇表，显然这不会使两个情况下的词汇表长度相同。