为什么scikit learn中的TfidfVectorizer的token_pattern参数不起作用?

我有以下文本:

data = ['Hi, this is XYZ and XYZABC is $$running']

我使用了以下tfidfvectorizer:

vectorizer = TfidfVectorizer(            stop_words='english',            use_idf=False,             norm=None,            min_df=1,            tokenizer = tokenize,            ngram_range=(1, 1),            token_pattern=u'\w{4,}')

我按以下方式拟合数据:

tdm =vectorizer.fit_transform(data)

现在,当我打印

vectorizer.get_feature_names()

我得到的是:

[u'hi', u'run', u'thi', u'xyz', u'xyzabc']

我的问题是,为什么我会得到’hi’和’xyz’,尽管我已经说明只想捕获至少4个字符的单词? – token_pattern=u’\w{4,}’


回答:

我能够重现传递tokenizer函数会覆盖token_pattern模式的行为。

这里有一个排除少于4个字符的标记的tokenizer:

from nltk import word_tokenizedef tokenizer(x):    return ( w for w in word_tokenize(x) if len(w) >3)

好消息是,传递你自己的tokenizer不会覆盖ngram参数。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注