鉴于像Sense2Vec这样的嵌入系统包含了词性等语言特征，为什么这些嵌入系统没有被更广泛地使用呢？

在当今流行的自然语言处理工作中，Word2Vec和GloVe是最常用的词嵌入系统。尽管它们仅包含词信息，而不具备词的语言特征。

例如，在情感分析、文本分类或机器翻译任务中，如果输入也包含语言特征，性能可能会得到提升。特别是在区分“duck”这个动词和“duck”这个名词时尤其明显。

这种想法是否有误？还是有其他实际原因导致这些嵌入系统没有被更广泛地使用？

回答：

这是一个非常主观的问题。一个原因是词性标注器本身。词性标注器是一个概率模型，可能会增加整体错误或混淆。

例如，假设你对duck-NP和duck-VB有密集表示，但在运行/推理时，你的词性标注器将’duck’标记为其他东西，那么你甚至找不到它。此外，这也有效地减少了系统看到duck这个词的总次数，因此有人可能会认为生成的表示会较弱。

更重要的是，sense2vec主要解决的问题是词表示的语境化，而这已经通过像BERT和ElMo等上下文表示解决了，且没有产生上述任何问题。