如何将文档排列在一个空间中(例如多个网格),使得它们的放置位置能够反映出它们与其他文档的相似程度。我研究了K-means聚类方法,但如果数据量很大,这种方法计算量会很大。我在寻找一种类似于对文档内容进行哈希的方法,这样它们可以适应一个大的空间,并且相似的文档会有相似的哈希值,它们之间的距离会很小。这样的话,要找到与给定文档相似的文档就变得很容易,而不需要做太多额外的工作。
结果可能会类似于下面的图片。在这个例子中,音乐文档靠近电影文档,但远离与计算机相关的文档。可以将这个框视为整个文档世界。
任何帮助都将不胜感激。
谢谢
jvc007
回答:
引入文档之间距离或相似性度量的一种方法是:
-
首先将文档编码为向量,例如使用TF-IDF(参见 https://en.wikipedia.org/wiki/Tf%E2%80%93idf)
-
两个文档相关向量之间的标量乘积可以提供文档相似性的度量。这个值越大,相似性就越高。
对这些相似性使用MDS(多维尺度分析,http://en.wikipedia.org/wiki/Multidimensional_scaling)应该有助于在二维图上可视化这些文档。