如何使用gensim和word2vec在Python中查找语义相似性

我在Python程序中有一个单词列表。现在我需要遍历这个列表,找出语义相似的单词,并将它们放入另一个列表中。我尝试使用gensim和word2vec来实现这一点,但没有找到合适的解决方案。这是我目前为止实现的内容。我需要帮助了解如何遍历变量sentences中的单词列表,找出语义相似的单词,并将它们保存到另一个列表中。

import gensim, loggingimport textPreprocessing, frequentWords , summarizerfrom gensim.models import Word2Vec, word2vecimport numpy as npfrom scipy import spatialsentences = summarizer.sorteddictlogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)model = word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)

回答:

如果你不关心“正确”的聚类,可以使用以下代码:

similar = [[item[0] for item in model.most_similar(word)[:5]] for word in words]

如果你真的想对单词进行聚类,这里有一些注意事项:

  • 可能存在多个这样的聚类。
  • 聚类的数量取决于一个“超参数”,即某个阈值。当阈值较大时,所有单词都相似并属于同一个聚类;当阈值太小时,没有一个单词是相似的。
  • 单词可以自然地通过“传递性”被包含在一个聚类中,例如,AB相似,BC相似,那么这三个都应该在同一个聚类中。这意味着你需要实现某种图遍历算法。
  • 性能在很大程度上取决于训练语料库:只有当语料库足够大时,gensim word2vec才能捕捉到正确的相似性。因此,gensim的超参数和文本预处理也非常重要。

这是一个简单且可能不太高效的算法,用于识别聚类:

model = gensim.models.word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)vocab = model.wv.vocab.keys()threshold = 0.9clusters = {}for word in vocab:  for similar_word, distance in model.most_similar(word)[:5]:    if distance > threshold:      cluster1 = clusters.get(word, set())      cluster2 = clusters.get(similar_word, set())      joined = set.union(cluster1, cluster2, {word, similar_word})      clusters[word] = joined      clusters[similar_word] = joined

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注