我在Python程序中有一个单词列表。现在我需要遍历这个列表,找出语义相似的单词,并将它们放入另一个列表中。我尝试使用gensim和word2vec来实现这一点,但没有找到合适的解决方案。这是我目前为止实现的内容。我需要帮助了解如何遍历变量sentences中的单词列表,找出语义相似的单词,并将它们保存到另一个列表中。
import gensim, loggingimport textPreprocessing, frequentWords , summarizerfrom gensim.models import Word2Vec, word2vecimport numpy as npfrom scipy import spatialsentences = summarizer.sorteddictlogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)model = word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)
回答:
如果你不关心“正确”的聚类,可以使用以下代码:
similar = [[item[0] for item in model.most_similar(word)[:5]] for word in words]
如果你真的想对单词进行聚类,这里有一些注意事项:
- 可能存在多个这样的聚类。
- 聚类的数量取决于一个“超参数”,即某个阈值。当阈值较大时,所有单词都相似并属于同一个聚类;当阈值太小时,没有一个单词是相似的。
- 单词可以自然地通过“传递性”被包含在一个聚类中,例如,
A
与B
相似,B
与C
相似,那么这三个都应该在同一个聚类中。这意味着你需要实现某种图遍历算法。 - 性能在很大程度上取决于训练语料库:只有当语料库足够大时,gensim word2vec才能捕捉到正确的相似性。因此,gensim的超参数和文本预处理也非常重要。
这是一个简单且可能不太高效的算法,用于识别聚类:
model = gensim.models.word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)vocab = model.wv.vocab.keys()threshold = 0.9clusters = {}for word in vocab: for similar_word, distance in model.most_similar(word)[:5]: if distance > threshold: cluster1 = clusters.get(word, set()) cluster2 = clusters.get(similar_word, set()) joined = set.union(cluster1, cluster2, {word, similar_word}) clusters[word] = joined clusters[similar_word] = joined