以下是我的代码:
sklearn_tfidf = TfidfVectorizer(ngram_range= (3,3),stop_words=stopwordslist, norm='l2',min_df=0, use_idf=True, smooth_idf=False, sublinear_tf=True)sklearn_representation = sklearn_tfidf.fit_transform(documents)它通过移除所有停用词生成三元组（trigram）。
我希望它允许那些中间有停用词（但不在开始和结束位置）的三元组。
是否需要编写一个处理器来实现这个功能？需要一些建议。
回答：
是的，你需要提供一个自定义的分析器函数来根据你的需求将文档转换为特征。
根据文档说明:
analyzer : string, {‘word’, ‘char’, ‘char_wb’} or callable
........如果传递了一个可调用对象，它将用于从原始、未处理的输入中提取特征序列。
在那个自定义的可调用对象中，你需要首先将句子分割成不同的部分，移除特殊字符如逗号、大括号、符号等，将它们转换为小写，然后生成n_grams。
默认实现按以下顺序处理单个句子:
- 解码: 根据给定的编码（默认’utf-8’）解码句子
- 预处理: 将句子转换为小写
- 分词: 从句子中获取单个词的标记（默认正则表达式选择2个或更多字母数字字符的标记）
- 停用词移除: 移除上述步骤中在停用词列表中的单个词标记
- N_gram创建: 在移除停用词后，将剩余的标记排列成所需的n_grams
- 移除过于稀有或过于常见的特征: 移除频率高于
max_df或低于min_df的词。
如果你想将自定义的可调用对象传递给TfidfVectorizer的analyzer参数，你需要处理所有这些步骤。
或者
你可以扩展TfidfVectorizer类并只重写最后两个步骤。像这样:
from sklearn.feature_extraction.text import TfidfVectorizerclass NewTfidfVectorizer(TfidfVectorizer): def _word_ngrams(self, tokens, stop_words=None): # 首先获取不含停用词的标记 tokens = super(TfidfVectorizer, self)._word_ngrams(tokens, None) if stop_words is not None: new_tokens=[] for token in tokens: split_words = token.split(' ') # 只检查首尾单词是否为停用词 if split_words[0] not in stop_words and split_words[-1] not in stop_words: new_tokens.append(token) return new_tokens return tokens然后，像这样使用:
vectorizer = NewTfidfVectorizer(stop_words='english', ngram_range=(3,3))vectorizer.fit(data)