确定新闻是好消息还是坏消息的实现选项

上周我用jQuery开发了一个简单的新闻阅读器,解析JSONP并将生成的列表插入到网页的流程中。今天早上有人问我这个问题:“有没有一种智能算法能够‘理解’新闻是坏的、好的还是中性的?”我的回答是……“嗯……我不知道。”……这就是为什么我要问这个问题:有没有实现这种功能的方法?我唯一能想到的是检查标题是否包含“killed(被杀)、bomb(炸弹)、assassin(刺客)、flood(洪水)、earthquake(地震)、tsunami(海啸)……”等类似的词……还有其他想法吗?你知道是否已经有类似的解决方案被实现了吗?谢谢你的帮助!


回答:

你需要一个分类算法。有许多不同的选择,例如参见这里。一个众所周知的,并且容易实现的起点是朴素贝叶斯

在朴素贝叶斯中,你会查看已经判断为坏的新闻项目中出现的词频,以及已经判断为好的新闻项目中出现的那些词的频率。这些给你提供了条件概率P(word|good)和P(word|bad)的估计,即在好消息中看到某个词的概率,以及在坏消息中看到某个词的概率。

当你看到一个新的新闻项目时,你会找出新闻项目中包含和不包含的词,并使用贝叶斯定理给你P(good|words)和P(bad|words),基本上是通过将你上面计算的词出现或不出现的概率相乘,再加上你预期的好消息或坏消息的频率。如果P(good|words) > P(bad|words),那么它就是好消息。(如果有兴趣,我之前在一个问题中放了一些数学公式;然而,网络上和书籍中有更好的资源。)

朴素贝叶斯是一种众所周知的技术,也用于垃圾邮件过滤。它也很有趣,因为它没有解决的问题。特别是,它不考虑词的顺序或上下文。所以,“本周没有飓风”可能是好消息,尽管包含了“飓风”这个词。我猜想,这种考虑在分析新闻文章时可能比分析推文时更重要。无论如何,这是一个有趣的领域,已经有很多工作已经完成。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注