是否有预训练的Gensim的Phrases模型？如果没有，是否有可能通过逆向工程并使用预训练的词嵌入来创建一个短语模型？

我正在尝试使用GoogleNews-vectors-negative300.bin和Gensim的Word2Vec。首先，我需要将我的单词映射成短语，以便从Google的预训练嵌入中查找它们的向量。

我在Gensim的官方文档中搜索过，但找不到任何相关信息。谢谢！

回答：

我不知道有人分享过Phrases模型。任何这样的模型对预处理/分词步骤以及创建者使用的特定参数都非常敏感。

除了高级算法描述外，我没有看到Google对用于生成GoogleNews 2013词向量的数据所做的具体分词/规范化/短语组合选择在任何地方被记录过。可以通过审查现有的标记来猜测预处理，但我不清楚有任何代码可以将类似的选择应用于其他文本。

你可以尝试模仿他们的单字分词，然后尝试将单字字符串组合成越来越长的多字组合，直到达到某个最大值，检查这些组合是否存在，如果不存在，则回退到单字（或存在的最大组合）。如果以简单的方式进行，这可能会很费时，但如果真的重要，可以进行优化——特别是对于更常见的词子集，因为GoogleNews集合似乎遵循按降序频率列出词的惯例。

（一般来说，尽管GoogleNews是一个快速且容易使用的词向量起始集，但我认为它被过度依赖。它缺少自2013年以来发展的新词/短语和新含义，它所捕获的任何含义都是由2013年前几年的新闻文章决定的……这可能与其他领域中词语的主要含义不匹配。如果你的领域不是特别是新闻，并且你有足够的数据，决定你自己的领域特定分词/组合可能会表现得更好。）