我正在尝试理解Python中的向量化器。我使用了以下示例代码：
from sklearn.feature_extraction.text import TfidfVectorizer# 文本文档列表text = ["The quick brown fox jumped over the lazy dog.", "The dog.", "The fox"]print(text)# 创建变换器vectorizer = TfidfVectorizer()# 分词并构建词汇表vectorizer.fit(text)# 总结print(vectorizer.idf_)# 编码文档vector = vectorizer.transform([text[0]])# 总结编码后的向量print(vector.shape)print(vector.toarray())print(vectorizer.vocabulary_)输出结果如下：
['The quick brown fox jumped over the lazy dog.', 'The dog.', 'The fox'][1.69314718 1.28768207 1.28768207 1.69314718 1.69314718 1.693147181.69314718 1. ](1, 8)[[0.36388646 0.27674503 0.27674503 0.36388646 0.36388646 0.363886460.36388646 0.42983441]]{'the': 7, 'quick': 6, 'brown': 0, 'fox': 2, 'jumped': 3, 'over': 5, 'lazy': 4, 'dog': 1}我不明白为什么vector.toarray()会为不同的词生成重复的数字…例如，0.36388646出现了四次，0.27674503出现了两次…这些数字代表什么？神经网络用于训练自己的数字是vectorizer.vocabulary_中打印的那些吗？
对于HashingVectorizer，我有以下代码：
from sklearn.feature_extraction.text import HashingVectorizer# 文本文档列表text = ["The quick brown fox jumped over the lazy dog."]# 创建变换器vectorizer = HashingVectorizer(n_features=20)# 编码文档vector = vectorizer.fit_transform(text)# 总结编码后的向量print(vector.shape)print(vector.toarray())输出结果如下：
(1, 20)[[ 0. 0. 0. 0. 0. 0.33333333 0. -0.33333333 0.33333333 0. 0. 0.33333333 0. 0. 0. -0.33333333 0. 0.-0.66666667 0. ]]0值被使用了吗？它代表什么？为什么那里也打印了重复值？（0.3333333和-0.33333333）
回答：
- 在第一种情况下，你会看到重复的数字，因为你的“语料库”中有多个词具有相同的IDF（逆文档频率）。例如，单词dog和fox在你的文本中出现的模式完全相同，因此它们具有相同的IDF；这两个词由1.28768207的值表示。单词the在每个文本中都出现，因此由1表示。其余词汇表中的词在第一个文本中出现一次，而在其他两个文本中没有出现，因此它们都具有完全相同的IDF。你可以使用
vectorizer.get_feature_names()查看哪个特征对应哪个词。 - 对于HashingVectorizer，你选择的特征数为20，但你的文本中唯一词的总数少于20，因此你会有很多特征值为0。你得到的非零元素少于8个，是因为存在一些哈希冲突——这是因为20个特征远远不够以避免冲突（考虑到默认值是2^20）。如果你选择更高的
n_features，你将得到正好8个非零元素。你有重复的值是因为，几乎所有特征在那个文本中的频率都是相同的。 - 关于你标题中的问题，
toarray()方法将scikit-learn使用的稀疏矩阵的高效表示转换为你普通可读的密集ndarray表示。
