如何使用gensim和word2vec在Python中查找语义相似性

我在Python程序中有一个单词列表。现在我需要遍历这个列表,找出语义相似的单词,并将它们放入另一个列表中。我尝试使用gensim和word2vec来实现这一点,但没有找到合适的解决方案。这是我目前为止实现的内容。我需要帮助了解如何遍历变量sentences中的单词列表,找出语义相似的单词,并将它们保存到另一个列表中。

import gensim, loggingimport textPreprocessing, frequentWords , summarizerfrom gensim.models import Word2Vec, word2vecimport numpy as npfrom scipy import spatialsentences = summarizer.sorteddictlogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)model = word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)

回答:

如果你不关心“正确”的聚类,可以使用以下代码:

similar = [[item[0] for item in model.most_similar(word)[:5]] for word in words]

如果你真的想对单词进行聚类,这里有一些注意事项:

  • 可能存在多个这样的聚类。
  • 聚类的数量取决于一个“超参数”,即某个阈值。当阈值较大时,所有单词都相似并属于同一个聚类;当阈值太小时,没有一个单词是相似的。
  • 单词可以自然地通过“传递性”被包含在一个聚类中,例如,AB相似,BC相似,那么这三个都应该在同一个聚类中。这意味着你需要实现某种图遍历算法。
  • 性能在很大程度上取决于训练语料库:只有当语料库足够大时,gensim word2vec才能捕捉到正确的相似性。因此,gensim的超参数和文本预处理也非常重要。

这是一个简单且可能不太高效的算法,用于识别聚类:

model = gensim.models.word2vec.Word2Vec(sentences, iter=10, min_count=5, size=300, workers=4)vocab = model.wv.vocab.keys()threshold = 0.9clusters = {}for word in vocab:  for similar_word, distance in model.most_similar(word)[:5]:    if distance > threshold:      cluster1 = clusters.get(word, set())      cluster2 = clusters.get(similar_word, set())      joined = set.union(cluster1, cluster2, {word, similar_word})      clusters[word] = joined      clusters[similar_word] = joined

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注