我正在使用文本分类来对阿拉伯方言进行分类，目前已经有4种方言。然而，现在我想让分类器能够检测这些方言的正式（标准或语法化）的语言，即现代标准阿拉伯语（MSA）。

我应该使用语法分析吗？构建一个语言模型？还是像处理方言那样，收集MSA的推文然后进行训练？

回答：

你可以为每种语言的方言训练一个语言模型。然后，给定一个句子，找出每个语言模型返回的（对数）概率，并将其分配给返回高分的语言模型。

p* = argmax p_i p_i(sentence)

其中 p_i 是第 i 种方言的语言模型。

语言模型是对词序列的概率分布。给定一个长度为 m 的句子，它会为整个序列分配一个概率 P(w1, ... ,wm)。因此，句子将属于 P_i(w) 较高的方言，其中 P_i 是第 i 种方言的语言模型。