有没有一种机器学习方法可以学习句子的结构而不是单词?

我在尝试使用隐马尔可夫模型(HMM)进行命名实体识别,但后来发现包含实体的句子大多具有非常结构化的特点。例如:“今天苹果的价格是多少?” 那么,与其教模型学习句子中的每个单词,我能否教它学习句子的结构?比如,“What’s”或“What is”之后的每个单词都应该是某种水果的名字?

谢谢!


回答:

除了使用HMM之外,可以考虑使用条件随机场(CRF)。它们与HMM非常相似,但属于判别模型(按照Ng和Jordan的术语,HMM和线性链CRF构成了一对生成/判别模型)。

这样做的好处是,你可以定义单词观察的特征,比如当前单词的词性标签、前一个或多个单词的词性标签等,而不需要对这些特征做出独立性假设。这将允许你将结构和词汇特征整合到同一个决策框架中。

编辑:这是原始论文。这是一个非常全面的教程。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注