确定新闻是好消息还是坏消息的实现选项

上周我用jQuery开发了一个简单的新闻阅读器,解析JSONP并将生成的列表插入到网页的流程中。今天早上有人问我这个问题:“有没有一种智能算法能够‘理解’新闻是坏的、好的还是中性的?”我的回答是……“嗯……我不知道。”……这就是为什么我要问这个问题:有没有实现这种功能的方法?我唯一能想到的是检查标题是否包含“killed(被杀)、bomb(炸弹)、assassin(刺客)、flood(洪水)、earthquake(地震)、tsunami(海啸)……”等类似的词……还有其他想法吗?你知道是否已经有类似的解决方案被实现了吗?谢谢你的帮助!


回答:

你需要一个分类算法。有许多不同的选择,例如参见这里。一个众所周知的,并且容易实现的起点是朴素贝叶斯

在朴素贝叶斯中,你会查看已经判断为坏的新闻项目中出现的词频,以及已经判断为好的新闻项目中出现的那些词的频率。这些给你提供了条件概率P(word|good)和P(word|bad)的估计,即在好消息中看到某个词的概率,以及在坏消息中看到某个词的概率。

当你看到一个新的新闻项目时,你会找出新闻项目中包含和不包含的词,并使用贝叶斯定理给你P(good|words)和P(bad|words),基本上是通过将你上面计算的词出现或不出现的概率相乘,再加上你预期的好消息或坏消息的频率。如果P(good|words) > P(bad|words),那么它就是好消息。(如果有兴趣,我之前在一个问题中放了一些数学公式;然而,网络上和书籍中有更好的资源。)

朴素贝叶斯是一种众所周知的技术,也用于垃圾邮件过滤。它也很有趣,因为它没有解决的问题。特别是,它不考虑词的顺序或上下文。所以,“本周没有飓风”可能是好消息,尽管包含了“飓风”这个词。我猜想,这种考虑在分析新闻文章时可能比分析推文时更重要。无论如何,这是一个有趣的领域,已经有很多工作已经完成。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注