我在尝试获取日文词的tf-idf值时遇到了问题。问题在于，sklearn的TfidfVectorizer会将一些我希望保留的日文字符作为停用词删除。

以下是一个示例：

from sklearn.feature_extraction.text import TfidfVectorizertf = TfidfVectorizer(stop_words = None)words_list = ["歯","が","痛い"]tfidf_matrix =  tf.fit_transform(words_list)feature_names = tf.get_feature_names() print (feature_names)

输出结果是：['痛い']

然而，我希望保留列表中的所有三个字符。我认为TfidfVectorizer将长度为1的字符作为停用词删除。我该如何禁用默认的停用词功能并保留所有字符呢？

回答：

你可以将token_pattern参数从默认的(?u)\\b\\w\\w+\\b更改为(?u)\\b\\w\\w*\\b。默认设置匹配具有两个或更多词字符的词（如果你不熟悉正则表达式，+表示一个或多个，因此\\w\\w+匹配具有两个或更多词字符的词；而*表示零个或多个，因此\\w\\w*将匹配具有一个或多个字符的词）：

from sklearn.feature_extraction.text import TfidfVectorizertf = TfidfVectorizer(stop_words = None, token_pattern='(?u)\\b\\w\\w*\\b')​words_list = ["歯","が","痛い"]tfidf_matrix =  tf.fit_transform(words_list)feature_names = tf.get_feature_names() print(feature_names)# ['が', '歯', '痛い']