Python – 计算词向量(word2vec)的层次聚类并以树状图形式展示结果

我使用领域文本语料库生成了一个100维的词向量模型,并合并了常见短语,例如(good bye => good_bye)。然后我提取了1000个所需词的向量。

因此,我有了一个包含1000个numpy.array的数组,如下所示:

[[-0.050378,0.855622,1.107467,0.456601,...[100 dimensions], [-0.040378,0.755622,1.107467,0.456601,...[100 dimensions], ... ...[1000 Vectors]]

以及一个单词数组,如下所示:

["hello","hi","bye","good_bye"...1000]

我已经对数据进行了K-Means聚类,得到的结果是合理的:

X = np.array(words_vectors)kmeans = KMeans(n_clusters=20, random_state=0).fit(X)for idx,l in enumerate(kmeans.labels_):    print(l,words[idx])--- Output ---0 hello0 hi1 bye1 good_bye

0 = 问候 1 = 告别

然而,一些词让我觉得层次聚类更适合这个任务。我尝试使用了AgglomerativeClustering,可惜…对于这个Python新手来说,事情变得复杂,我迷失了方向。

我该如何聚类我的向量,使输出大致像这个维基页面上的树状图那样?enter image description here


回答:

直到现在我也有同样的问题!每次在线搜索(关键词 = 词向量上的层次聚类)总能找到你的帖子。我不得不给你一个可能有效的解决方案。

sentences = ['hi', 'hello', 'hi hello', 'goodbye', 'bye', 'goodbye bye']sentences_split = [s.lower().split(' ') for s in sentences]import gensimmodel = gensim.models.Word2Vec(sentences_split, min_count=2)from matplotlib import pyplot as pltfrom scipy.cluster.hierarchy import dendrogram, linkagel = linkage(model.wv.syn0, method='complete', metric='seuclidean')# calculate full dendrogramplt.figure(figsize=(25, 10))plt.title('Hierarchical Clustering Dendrogram')plt.ylabel('word')plt.xlabel('distance')dendrogram(    l,    leaf_rotation=90.,  # rotates the x axis labels    leaf_font_size=16.,  # font size for the x axis labels    orientation='left',    leaf_label_func=lambda v: str(model.wv.index2word[v]))plt.show()

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注