我正在进行一个机器学习项目，构建一个针对中文文本的朴素贝叶斯分类器。我想使用中文字符的n-gram作为特征，因此我需要能够将文本拆分成单字（单个字符）、双字（两个字符的序列）等等。（我并不关心特殊的分词处理等——我只想要原始字符作为n-gram。）

如何在Scala中实现这一点？我尝试使用text.sliding(2)来获取双字，但这似乎不太奏效。（我猜是因为中文字符不像英文字符那样是一个字节？）

回答：

一般来说，这是一个关于在Java以及因此在Scala中正确处理Unicode的问题。从我在网上的初步浏览来看，似乎没有处理Java中Unicode的“唯一正确方法”。我不是NLP领域的人，所以我对你想要做什么的理解可能不完全正确。

val text = "囗土夊米"  val unigrams = text.toCharArray /* 考虑到unigrams是偶数的约束，不使用toString会得到奇怪的强制转换 */val bigrams =   for (i <- 0 until unigrams.length if i % 2 == 0) yield unigrams(i).toString + unigrams(i + 1)

像这样的代码应该很容易推广到一组n-gram函数，以提取你需要的内容，当然这些是简单的朴素实现。