就我所知，没有类似的问题。我正在Kaggle上进行一个NLP和情感分析项目，首先我在准备我的数据。数据框中有一个文本列，后面跟一个从0到9的数字，用于分类该行（文档）属于哪个集群。我使用的是sklearn中的TF-IDF向量化器。我想去除任何非英语单词的东西，所以我使用了以下代码：
class LemmaTokenizer(object): def __init__(self): self.wnl = WordNetLemmatizer() def __call__(self, doc): return [self.wnl.lemmatize(t) for t in word_tokenize(doc)]s_words = list(nltk.corpus.stopwords.words("english"))c = TfidfVectorizer(sublinear_tf=False, stop_words=s_words, token_pattern =r"(?ui)\\b\\w*[a-z]+\\w*\\b", tokenizer = LemmaTokenizer(), analyzer = "word", strip_accents = "unicode")#a_df是原始数据框X = a_df['Text']X_text = c.fit_transform(X)据我所知，调用c.get_feature_names()应该只返回正确的单词，不包括数字或标点符号。我在一个StackOverflow的帖子中找到了这个正则表达式，但使用一个更简单的如[a-zA-Z]+会产生同样的效果（也就是说，什么也没有）。当我调用特征名称时，我得到了类似这样的东西：
["''abalone","#","?","$","'","'0","'01","'accidentally",...]这些只是例子，但它们代表了我得到的输出，而不是仅仅是单词。我已经为此困扰了好几天，尝试了不同的正则表达式或调用方法。甚至在停用词中硬编码了一些特征的输出。我问这个问题是因为后来我使用LDA来获取每个集群的主题，并得到了标点符号作为“主题”。我希望我没有重复另一个帖子。任何我需要提供的更多信息我都会很乐意提供。提前谢谢你！
回答：
如果您传递了一个自定义分词器，正则表达式模式会被忽略。这在文档中没有提到，但您可以在源代码中清楚地看到这一点：
def build_tokenizer(self): """Return a function that splits a string into a sequence of tokens. Returns ------- tokenizer: callable A function to split a string into a sequence of tokens. """ if self.tokenizer is not None: return self.tokenizer token_pattern = re.compile(self.token_pattern) return token_pattern.findall如果self.tokenizer不是None，你不会对token模式做任何处理。
解决这个问题很简单，只需将正则表达式token模式放入你的自定义分词器中，并使用它来选择tokens。
