我正在对具有以下样式的标记进行文本块向量化：
hi__(how are you), 908__(number code), the__(POS)如您所见，标记附带了__(info)的一些信息，我使用tfidf提取关键词，如下所示：
vectorizer = TfidfVectorizer()X = vectorizer.fit_transform(doc)indices = np.argsort(vectorizer.idf_)[::-1]features = vectorizer.get_feature_names()问题是，当我执行上述提取关键词的程序时，我怀疑向量化对象正在从我的文本块中删除括号。那么，我可以使用tfidf向量化对象的哪个参数来保留括号中的此类信息呢？
更新
我也尝试了以下方法：
from sklearn.feature_extraction.text import TfidfVectorizerdef dummy_fun(doc): return doctfidf = TfidfVectorizer( analyzer='word', tokenizer=dummy_fun, preprocessor=dummy_fun, token_pattern=None) 和
from sklearn.feature_extraction.text import TfidfVectorizerdef dummy_fun(doc): return doctfidf = TfidfVectorizer( tokenizer=dummy_fun, preprocessor=dummy_fun, token_pattern=None) 然而，这返回给我的是一系列字符，而不是我已经分词的标记：
['e', 's', '_', 'a', 't', 'o', 'c', 'r', 'i', 'n']回答：
问题在于TfidfVectorizer使用的默认分词明确忽略了所有标点符号：
token_pattern : string
表示“标记”的正则表达式，仅在analyzer == ‘word’时使用。默认的正则表达式选择2个或更多字母数字字符的标记（标点符号被完全忽略，并且始终被视为标记分隔符）。
您的问题与这个之前的问题有关，但您不是希望将标点符号作为单独的标记处理，而是希望防止token__(info)被拆分。在这两种情况下，解决方案都是编写自定义的token_pattern，尽管确切的模式有所不同。
假设每个标记已经附带了__(info)：
vectorizer = TfidfVectorizer(token_pattern=r'(?u)\b\w\w+__\([\w\s]*\)')X = vectorizer.fit_transform(doc)我只是修改了默认的token_pattern，使其现在匹配任何2个或更多字母数字字符，后跟__(，0个或多个字母数字或空白字符，并以)结束。如果您想了解更多关于如何编写自己的token_pattern的信息，请查看Python关于正则表达式的文档。
