给定两个HTML源代码，我首先想使用像这个工具来提取其中的主要内容。是否有其他更好的库？我特别寻找Python/JavaScript的库？

一旦我提取了两个内容，我想返回一个介于0到1之间的分数，表示它们的相似度，例如，CNN和BBC关于同一话题的新闻文章会有较高的相似度分数，因为它们是关于同一话题的，或者亚马逊和沃尔玛关于同一产品的网页也会有较高的分数。我该如何做到这一点？是否已经存在可以执行此操作的库？有什么好的库我可以使用？基本上，我在寻找自动摘要、关键词提取、命名实体识别和情感分析的组合。

回答：

你的问题中包含了许多内容。我将尝试为你提供一个库，或者建议一些可以解决你任务的算法（你可以搜索这些算法，会找到许多Python实现）。

要点1。要从HTML中提取主要内容（http://nltk.googlecode.com/svn/trunk/doc/book/ch03.html），以及其他与自然语言处理相关的内容，你可以查看NLTK。它是用Python编写的。你还可以查看一个名为BeautifulSoup的库，它非常棒（http://www.crummy.com/software/BeautifulSoup/）。

要点2。当你说：

一旦我提取了两个内容，我想返回一个介于0到1之间的分数，表示它们的相似度…

对此，我建议你可以使用任何无监督学习聚类技术来聚类你的文档集。由于你的问题属于基于距离度量的聚类，所以你应该很容易聚类相似的文档，然后根据它们与聚类中心的相似性为它们分配一个分数。尝试使用K-Means或自适应共振理论。后者你不需要提前定义聚类的数量。或者，正如larsman在他的评论中指出的，你可以简单地使用TF-IDF（http://www.miislita.com/term-vector/term-vector-3.html）。

要点3。当你说：

基本上，我在寻找自动摘要、关键词提取、命名实体识别和情感分析的组合

对于自动摘要，使用非负矩阵分解

对于关键词提取，使用NLTK

对于命名实体识别，使用NLTK

对于情感分析，使用NLTK