有人可以指导我解决以下问题吗？

我有一大堆来自UMLS的医学术语列表，例如，样本可能是

Disease control is goodDisease control is poorDisease control is excellentDrug adherenceCurrent drugSodium ValproateAntibiotic VIEpilepsy control is goodFrequent seizuresClinically isolated syndromeFractured patellaFractured femur

我还有另一份短语列表，这些短语与第一份列表的字符串并不完全匹配，但相似，例如

Good control of epilepsy    -->      Epilepsy control is goodBroken tibia                -->      Fractured tibiaCurrently prescribed drugs  -->      Current drugs

我基本上是想从第二份短语列表中找到与第一份短语列表最匹配的短语。

我知道ngram共现，但这似乎是从单一文本语料库中找出最常见的ngram共现，而不是将一个ngram与另一个ngram关联起来。

我需要研究字符串匹配算法，还是更基于机器学习的方法？

有人知道有哪些软件包可以做到这一点吗？我查看了Python的NLTK，但找不到这种功能。

谢谢

回答：

我个人会首先考虑使用Levenshtein距离作为一种基本且易用的方法，可能会有不错的效果。我会先对词进行词干提取，然后运行Levenshtein距离计算。

更复杂的方法是使用已经训练好的word2vec模型（在Spark和NLTK中可用），然后聚合出现在每个ngram中的词的向量，以生成ngram的向量。最后，你可以比较生成的向量并找出最相似的配对。有一些库可以让你为ngram和文档生成这些聚合的向量表示。你还可以找到相关文章，并根据你的具体需求设计并实现自己的聚合方法。