如何以不同的方式使用词嵌入/word2vec?用一本真正的、实体的字典

如果我的标题不正确/可以更好,请告诉我。

我一直在试图找到一篇现有的论文/文章来描述我遇到的问题:我想为单词创建向量,使它们等于其各个部分的总和。例如:红雀(这种鸟)将等于以下向量的总和:红色、鸟,并且仅限于此。为了训练这样的模型,输入可能是像字典这样的东西,其中每个单词都由其属性定义。类似于:

红雀:鸟,红色,….

蓝鸟:蓝色,鸟,….

鸟:温血动物,翅膀,喙,两只眼睛,爪子….

翅膀:骨头,羽毛….

所以在这种情况下,每个单词向量等于其各个部分的单词向量的总和,依此类推。

我理解在原始的word2vec中,语义距离被保留,例如Vec(马德里)-Vec(西班牙)+Vec(巴黎) ≈ Vec(巴黎)。

谢谢!

附注:另外,如果可能的话,应该能够在以后添加新单词。


回答:

如果你打算构建一个你想要的组件字典,你根本不需要word2vec。你已经定义了你想要指定的维度:只需使用它们,例如在Python中:

kb = {"wings": {"bone", "feather"},       "bird":  {"wings", "warm-blooded", ...}, ...}

由于值是集合,你可以进行集合交集操作:

kb["bird"] | kb["reptile"]

你需要找到一些方法来递归地分解元素以进行比较、简化等。这些都是你需要根据预期操作时会发生什么来做出的决定。

这种手动字典开发是一种相当老式的做法。像Schank和Abelson这样的人在1970年代就做过类似的事情。问题是,随着这些字典变得越来越复杂,它们变得难以维护,并且在近似中变得更加不准确。你可以作为练习尝试——这可能会很有趣!——但要保持低期望值。

你还会发现这种分解中会丢失一些意义。word2vec的一个显著特性是它对单词的整体感知敏感——单词的意义可能是由各个部分组成的,但这种组合中有一部分使得整体大于部分之和。在分解中,这种整体感知会丢失。

与其试图构建一个字典,你最好还是探索一下W2V从大型语料库中能给你带来什么,并看看你如何利用这些信息来获得优势。W2V从文本中提取的语言学内容尚未完全理解,但在尝试用嵌入做一些具体的事情时,你可能会学到一些关于语言的新东西。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注