我有以下两个文本
文本1 : John喜欢苹果
文本2 : Mike讨厌橙子
如果你查看上述两个文本,会发现它们在句法上相似,但在语义上有不同的含义。
我想找到
1) 两个文本之间的句法距离
2) 两个文本之间的语义距离
作为NLP新手,有没有使用nltk的方法来实现这一点?
回答:
是的,但不限于nltk。一种用于计算句法距离的方法是词性标注(POS Tagging),它将句子中的每个词映射到特定的标签: https://en.wikipedia.org/wiki/Part-of-speech_tagging
例如,它将你的句子映射为这些:
文本1: 名词 动词 名词
文本2: 名词 动词 名词
然后你可以测量这两个句子之间的距离。
而对于语义,你需要使用语义词网,找出句子中每个词的同义词,然后尝试找出每个句子中词的同义词的交集