我需要检查特定网页上内容的相关性。我有数千个网页需要进行此检查。检查页面标题与页面内容是否相关的最佳方法是什么？
回答：
你的问题有些模糊，当你说：
检查页面标题与页面内容是否相关的最佳方法是什么？
在你的问题背景下，相关性是如何定义的？
我不知道这是否是你想要的，但我想到了几件事，基本上是比较两个文档的相似度，一个文档是标题，另一个是描述。
你可以考虑生成两者的向量表示并比较它们的相似度的方法。
- 使用令牌作为两个集合（即文档）的元素来计算Jaccard相似度
- 计算TF-IDF加权向量，并使用余弦相似度进行比较
- 为每个文档计算分布主题模型/LDA，并使用Kullback-Leibler散度进行比较
- 将文档编码成某种密集向量（doc2vec，或者通过LSTM读取并保留最后状态），然后比较两个向量。
唯一需要考虑的是，标题的尺寸与网页内容相比非常小。
