我正在使用scikit的tfidf对一些文本数据进行向量化。根据文档,我了解到可以通过将idf和归一化设置为False来获得0/1输出(二进制特征向量?)。所以我尝试了以下代码:
tfidf_vect= TfidfVectorizer(use_idf=False, smooth_idf=True, sublinear_tf=False, ngram_range=(2,2), norm=False)
这样特征向量就会是二进制的吗?另一方面,在文档中还有另一个模块可以完成这个任务,即预处理。你有什么关于如何处理这个问题的想法吗?
回答:
TfidfVectorizer
有一个名为binary
的参数:
tfidf_vect= TfidfVectorizer(use_idf=False,binary=True, norm=False, ngram_range=(2, 2))
这将使特征变成二进制的