根据内容相似性在网格中排列文档

如何将文档排列在一个空间中(例如多个网格),使得它们的放置位置能够反映出它们与其他文档的相似程度。我研究了K-means聚类方法,但如果数据量很大,这种方法计算量会很大。我在寻找一种类似于对文档内容进行哈希的方法,这样它们可以适应一个大的空间,并且相似的文档会有相似的哈希值,它们之间的距离会很小。这样的话,要找到与给定文档相似的文档就变得很容易,而不需要做太多额外的工作。

结果可能会类似于下面的图片。在这个例子中,音乐文档靠近电影文档,但远离与计算机相关的文档。可以将这个框视为整个文档世界。

enter image description here

任何帮助都将不胜感激。

谢谢

jvc007


回答:

引入文档之间距离或相似性度量的一种方法是:

  • 首先将文档编码为向量,例如使用TF-IDF(参见 https://en.wikipedia.org/wiki/Tf%E2%80%93idf

  • 两个文档相关向量之间的标量乘积可以提供文档相似性的度量。这个值越大,相似性就越高。

对这些相似性使用MDS(多维尺度分析,http://en.wikipedia.org/wiki/Multidimensional_scaling)应该有助于在二维图上可视化这些文档。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注