我正在尝试创建一个NLP模型，能够查找相似句子。例如，它应该能够说出“软件工程师”、“软件开发者”、“软件开发”和“软工程师”是相似的句子。

我有一个数据集，包含了一系列角色列表，例如首席执行官、软件工程师，这些术语的变体可能是未知的（生僻词）。

我尝试使用带有Gensim的FastText，但遇到了困难。有人有推荐的阅读材料/教程可以帮助我吗？

回答：

仅仅一个角色列表可能不足以提供给FastText（以及类似的word2vec类算法）足够的数据，这些算法需要看到词语（或标记）在自然使用环境中，与其他相关词语一起出现，才能逐渐引导它们进入有趣的相对相似性排列中。

您只有这些职位的名称，还是还有其他对这些角色的描述？

如果这些标题是由个别单词组成的，并且在标题环境中大多与正常环境中的意思相同，并且它们非常短（每个2-3个词），一种可能的方法是尝试使用“词移动距离”（WMD）度量标准。

您需要从其他地方训练好的词向量，这些词向量具有良好的上下文和兼容的词义，这样'software'、’engineer'等的向量都是相当不错的。然后，您可以使用Gensim的词向量类中的.wmdistance()方法来计算一个度量，测量一组词与另一组词在所有文本词语中的差异程度。

更新：请注意，对于WMD的值（以及余弦相似度的值），您通常不应过分关注它们的绝对值，而只应关注它们如何影响相对排名。也就是说，无论wmd(['software', 'engineer'], ['electric', 'engineer'])返回的原始值是0.01还是100，重要的是这个数字与其他成对比较的对比，比如说wmd(['software', 'engineer'], ['software', 'developer'])。