在iOS的邮件客户端中,当一封邮件包含日期、时间或地点时,这些文本会变成超链接,只需点击链接即可创建预约或查看地图。这一功能不仅适用于英文邮件,也适用于其他语言的邮件。我非常喜欢这个功能,并想了解他们是如何实现的。
最简单的方法是使用许多正则表达式并全部运行。然而,这种方法扩展性不佳,且只能适用于特定的语言或日期格式等。我认为苹果一定是使用了某种机器学习的概念来提取实体(如8:00PM、8PM、8:00、0800、20:00、20h、20h00、2000等)。
你知道苹果是如何在其邮件客户端中如此快速地提取实体的吗?你会使用哪种机器学习算法来完成这样的任务?
回答:
他们可能使用了信息提取技术来实现这一点。
这是斯坦福大学的SUTime工具的演示:
http://nlp.stanford.edu:8080/sutime/process
你需要提取文档中连续词组(n-grams)的属性:
- 字母数量
- 符号数量
- 长度
- 前一个词
- 后一个词
- 后一个词的符号数量
…
然后使用分类算法,并提供正面和负面的例子:
Observation nLetters nSymbols length prevWord nextWord isPartOfDate "Feb." 3 1 4 "Wed" "29th" TRUE "DEC" 3 0 3 "company" "went" FALSE ...
你可能只需要每种50个例子,但例子越多越好。然后,算法会基于这些例子进行学习,并能应用于之前未见过的新例子。
它可能会学习到这样的规则:
- 如果前一个词仅包含字符和可能的句号…
- 当前词在”february”、”mar.”、”the”等列表中…
- 后一个词在”twelfth”、任何数字等列表中…
- 那么就是日期
这是一个由谷歌工程师关于该主题的不错的视频