从推文中查找特定地点名称

我正在尝试从推文中查找特定地点的名称,并对搜索结果进行情感分析。我遇到的问题是,例如我想查找的地点名称是“Sammy’s Tap and Grill”,但直接搜索这个名称没有任何结果。我需要搜索“Sammys”或“Sammy’s”才能得到一些结果。另一方面,当我搜索“Empire State Building”时,我不能仅搜索“Empire”,因为这会返回包含玛雅和乔拉帝国等奇怪的推文。因此,我必须搜索“Empire State Building”或“Empire State”。那么,有没有一种自然语言处理的技巧,可以让我从地点的全名中找到最相关的结果?我之前尝试了一个解决方案,即检查搜索结果是否为名词,因为有些地点的名称如“Excellent”和“Fantastic”,我不想让形容词出现在结果中。那么,有没有一种自然语言处理的方法来解决我在推文中搜索地点名称的问题呢?


回答:

你的问题与命名实体识别问题非常相似。你可以尝试使用标准的命名实体提取器,或者训练你自己的NER模型。

有不同的NER库可用,例如

  1. Stanford NER
  2. SpaCy NER工具
  3. NLTK NER模块

如果你想训练你自己的命名实体识别模型,请查看以下链接:

  1. CRF git仓库
  2. 使用Tensorflow进行命名实体识别

祝你好运)

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注