我在寻找解决以下任务的方案。我从一本随机的英文书中抽取几页，去除所有非字母字符，并将所有字符转换为小写。结果我得到的是这样的内容：

wheniwasakidiwantedtobeapilot…

现在，我正在寻找一种能够以相当高的准确性逆转这个过程的方法。我需要找出单词和句子分隔符。你们有什么解决这个问题的想法吗？有没有现成的解决方案可以让我参考，而不必重新发明轮子？

回答：

这比普通的分词任务更难，因为基本的分词任务假设有空格。普通的分词任务基本上只需要确定标点符号是否应该作为单词的一部分（例如，在“Mr.”中）还是应该分开（例如，在句子末尾）。如果这是你想要的，你可以下载斯坦福CoreNLP包，它使用基于规则的系统很好地完成了这个任务。

对于你的任务，你需要确定在哪里插入空格。这篇关于贝叶斯推理的教程有一章讲述了中文的词语分割（中文书写不使用空格）。同样的技术可以应用于没有空格的英语。

基本的想法是你有一个语言模型（一个N-Gram就足够了），你想要选择一种分割方式，使数据根据语言模型的概率最大化。例如，在“when”和“iwasakidiwantedtobeapilot”之间放置一个空格会比在“whe”和“niwasakidiwantedtobeapilot”之间放置一个分割符更符合语言模型的概率，因为“when”是一个比“whe”更好的单词。你可以多次这样做，添加和删除空格，直到你找出什么样的句子看起来最像英语。

这样做会给你一个长长的标记列表。然后，当你想将这些标记分成句子时，你实际上可以使用同样的技术，只是这次你不是使用基于单词的语言模型来帮助你在单词之间添加空格，而是使用基于句子的语言模型来将标记列表分割成不同的句子。相同的想法，只是应用在不同的层次上。