如何将距离数据输入到scipy的聚合聚类方法中?

我有一组文本,想对其进行聚类分析。我已经计算了每对文本之间的归一化压缩距离,现在我基本上构建了一个带有加权边的完整图,看起来像这样:

text1, text2, 0.539text2, text3, 0.675

我很难找到将这些数据输入到scipy的层次聚类方法中的最佳方式。我可能会将距离数据转换成这个页面上显示的那种表格形式。如何格式化这些数据,以便它们可以轻松地输入到scipy的HAC代码中?


回答:

你将数据转换成链接页面上显示的那种表格(冗余距离矩阵)的想法是正确的。根据文档,你应该可以直接将它传递给scipy.cluster.hierarchy.linkage或相关函数,如scipy.cluster.hierarchy.singlescipy.cluster.hierarchy.complete。这些相关函数明确指定了如何计算聚类之间的距离。scipy.cluster.hierarchy.linkage允许你指定你想要的任何方法,但默认使用单链接(即两个聚类之间的距离是它们最近点的距离)。所有这些方法都会返回一个表示聚合聚类的多维数组。然后,你可以使用scipy.cluster.hierarchy模块的其余部分对这个聚类执行各种操作,如可视化或扁平化它。

然而,这里有一个问题。在这个问题撰写时,尽管文档说你可以使用冗余距离矩阵,但实际上你不能。基于github问题仍然开放的事实,我认为这个问题还没有解决。正如链接问题中的答案所指出的,你可以通过将完整的距离矩阵传递给scipy.spatial.distance.squareform函数来绕过这个问题,该函数会将其转换为实际接受的格式(包含距离矩阵上三角部分的扁平数组,称为压缩距离矩阵)。然后,你可以将结果传递给scipy.cluster.hierarchy函数之一。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注