我需要基于名称对一些数据进行交叉验证。
我面临的问题是，根据来源的不同，名称会有轻微的变化，例如：
L & L AIR CONDITIONING vs L & L AIR CONDITIONING ServiceBEST ROOFING vs ROOFING INC我有数千条记录，手动处理将非常耗时，我希望尽可能自动化这个过程。
由于有额外的单词，仅仅将名称转换为小写是不够的。
处理这种情况有哪些好的算法？
也许可以计算相关性，给像’INC’或’Service’这样的词赋予较低的权重
编辑：
我尝试了difflib库
difflib.SequenceMatcher(None,name_1.lower(),name_2.lower()).ratio()我用它得到了一个不错的结果。
回答：
我会使用余弦相似度来达到同样的效果。它会给你一个匹配分数，显示字符串的接近程度。
这里是帮助你实现的代码（我记得几个月前从Stackoverflow上获取了这个代码，现在找不到链接了）
我发现另一个版本稍微基于NLP，并且是我自己编写的，非常有用。
你可以调用get_similarity或get_char_wise_similarity来看看哪个更适合你的用例。我使用了两种方法 – 普通相似度来筛选出非常接近的条目，然后字符级相似度来筛选出足够接近的条目。剩下的条目则需要手动处理。
