我是新手，如果有人能指导我或提供一些教程，将会非常有帮助。给定一个句子和一个其他句子的列表（英文）：
s = "This concept of distance is not restricted to two dimensions."list_s = ["It is not difficult to imagine the figure above translated into three dimensions.", "We can persuade ourselves that the measure of distance extends to an arbitrary number of dimensions;"]我想计算列表中每个句子与句子s之间的成对余弦相似度，然后找出最大值。
到目前为止我所做的：
from sklearn.feature_extraction.text import TfidfVectorizertfidf = TfidfVectorizer(norm='l2', min_df=0, use_idf=True, smooth_idf=False, sublinear_tf=True, tokenizer=tokenize)bow_matrix = tfidf.fit_transform([s, ' '.join(list_s)])1. 下一步是什么？
2. 计算成对余弦相似度时，应该转换整个语料库还是只转换两个句子？
3. 如何应用去除停用词和词干提取？
谢谢！
回答：
首先，您可能需要按如下方式转换您的文档
X = tfidf.fit_transform([s] + list_s) # 现在X将有3行-
下一步是什么？您需要计算tf-idf矩阵的每一行之间的余弦相似度。请查看这个帖子，了解如何操作。为了直观理解，您可以使用
cosine距离计算s和list_s之间的距离。from scipy.spatial.distance import cosinecosine(X[0].toarray(), X[1].toarray()) # s与第一句话之间的余弦距离 -
我建议将整个语料库转换为tf-idf矩阵，因为模型还会生成词汇表，即您的向量将对应到这个词典上。您不应该只转换两个句子。
-
您可以通过在创建tf-idf模型时添加
stop_words='english'来去除停用词（即tfidf = TfidfVectorizer(..., stop_words='english')）。
对于词干提取，您可以考虑使用nltk来创建一个词干提取器。这里是一个简单的方法来对您的文本进行词干提取。（请注意，您可能还想在词干提取之前去除标点符号）
from nltk.stem.porter import PorterStemmerstemmer = PorterStemmer()def stem(text): text_stem = [stemmer.stem(token) for token in text.split(' ')] text_stem_join = ' '.join(text_stem) return text_stem_joinlist_s_stem = list(map(stem, list_s)) # 将stem函数映射到文档列表现在，您可以在TfidfVectorizer中使用list_s_stem代替list_s
