我想使用scikit-learn中的TfidfVectorizer及其相关函数来进行文档分类，但我对其使用有些困惑（我搜索到的其他问题都没有涉及到正确的数据格式）。
目前，我的训练数据按以下方式组织：
- 从语料库中获取单个文本。
- 标准化、分词（使用nltk的PunktWordTokenizer）、词干提取（使用nltk的SnowballStemmer）
- 过滤掉剩余的低长度和低出现频率的词
- 标记相应的文本
完成上述步骤后，单个文本看起来如下（这里的值是随机的，但对应于每个术语的计数/出现次数）：
text = ({"has": 5.0, "love": 12.0, ...}, "Relationships")而整个语料库最终看起来像这样：
corpus = [({"has": 5.0, "love": 12.0, ...}, "Relationships"), ({"game": 9, "play": 9.0, ...}, "Games"), ..., ]我该如何将这些数据输入到TfidfVectorizer()中？我是应该只提供上面的内容（作为字典？作为列表？），还是只提供不带计数的内容？我应该在什么时候提供标签？如果需要，我不介意完全重构我的数据。
不幸的是，关于这个特定函数的文档在格式示例方面有点稀缺。
回答：
这是你如何使用TfidfVectorizer（点击这里获取更多详情）
>>> from sklearn.feature_extraction.text import TfidfVectorizer>>> corpus = ['This is the first document.', 'This is the second second document.', 'And the third one.', 'Is this the first document?']>>> vect = TfidfVectorizer()>>> X = vect.fit_transform(corpus)>>> X.todense()matrix([[ 0. , 0.43877674, 0.54197657, 0.43877674, 0. , 0. , 0.35872874, 0. , 0.43877674], [ 0. , 0.27230147, 0. , 0.27230147, 0. , 0.85322574, 0.22262429, 0. , 0.27230147], [ 0.55280532, 0. , 0. , 0. , 0.55280532, 0. , 0.28847675, 0.55280532, 0. ], [ 0. , 0.43877674, 0.54197657, 0.43877674, 0. , 0. , 0.35872874, 0. , 0.43877674]])这是你的文本语料库的数字表示。现在要拟合一个将文档映射到你的标签的模型，首先将它们放入一个目标变量中，标签的长度应该与语料库中的文档数量相匹配：
>>> y = ['Relationships', 'Games', ...]现在你可以拟合任何模型，例如：
>>> from sklearn.linear_model import SGDClassifier>>> model = SGDClassifier()>>> model.fit(X, y)现在你有一个拟合好的模型，可以在新数据上进行评估。要进行预测，重复对新语料库或文本的相同过程。请注意，我使用的是之前相同的向量化器vect：
X_pred = vect.transform(['My new document'])y_pred = model.predict(X_pred)如果你想使用自定义的分词器，使用以下方法：
vect = TfidfVectorizer(tokenizer=your_custom_tokenizer_function)