例如，如果我有三个词“New York”、“new york”和“new-york”，我能否通过机器学习或其他字符串处理算法判断这三个词指的是同一个事物？
我想这个问题肯定在哪里有过解答，但我实在不知道该如何查找。所以，如果我是在重复提问，我深表歉意。
回答：
-
标准化字符串，将其转换为小写，去除特殊字符，生成一个特征字符串。例如：
New york –> newyorknew-york –> newyorkNewYork –> newyork
-
首先比较特征字符串是否完全匹配。
-
然后使用模糊匹配算法（如Levenshtein或Jaro-Winkler）比较特征字符串。
newyork <–> newyerk –> 90% 匹配
-
大多数编程语言都有可用于第3步的模块，例如Python中的difflib。
你可以使用这里提供的Python工具方法
>>> from helpers import find_string_similarity>>> find_string_similarity('new york','New-York',normalized=True)1.0>>> find_string_similarity('new yArk','New-York',normalized=True)0.8999999999999999你也可以直接使用difflib。
