上周我用jQuery开发了一个简单的新闻阅读器,解析JSONP并将生成的列表插入到网页的流程中。今天早上有人问我这个问题:“有没有一种智能算法能够‘理解’新闻是坏的、好的还是中性的?”我的回答是……“嗯……我不知道。”……这就是为什么我要问这个问题:有没有实现这种功能的方法?我唯一能想到的是检查标题是否包含“killed(被杀)、bomb(炸弹)、assassin(刺客)、flood(洪水)、earthquake(地震)、tsunami(海啸)……”等类似的词……还有其他想法吗?你知道是否已经有类似的解决方案被实现了吗?谢谢你的帮助!
回答:
你需要一个分类算法。有许多不同的选择,例如参见这里。一个众所周知的,并且容易实现的起点是朴素贝叶斯。
在朴素贝叶斯中,你会查看已经判断为坏的新闻项目中出现的词频,以及已经判断为好的新闻项目中出现的那些词的频率。这些给你提供了条件概率P(word|good)和P(word|bad)的估计,即在好消息中看到某个词的概率,以及在坏消息中看到某个词的概率。
当你看到一个新的新闻项目时,你会找出新闻项目中包含和不包含的词,并使用贝叶斯定理给你P(good|words)和P(bad|words),基本上是通过将你上面计算的词出现或不出现的概率相乘,再加上你预期的好消息或坏消息的频率。如果P(good|words) > P(bad|words),那么它就是好消息。(如果有兴趣,我之前在一个问题中放了一些数学公式;然而,网络上和书籍中有更好的资源。)
朴素贝叶斯是一种众所周知的技术,也用于垃圾邮件过滤。它也很有趣,因为它没有解决的问题。特别是,它不考虑词的顺序或上下文。所以,“本周没有飓风”可能是好消息,尽管包含了“飓风”这个词。我猜想,这种考虑在分析新闻文章时可能比分析推文时更重要。无论如何,这是一个有趣的领域,已经有很多工作已经完成。