我在使用OpenNLP的Token Name查找器来解析非结构化数据，我已经创建了一个包含400万条记录的语料库（训练集），但当我在Eclipse中使用OpenNLP API从这个语料库创建模型时，过程大约需要3个小时，这非常耗时。模型是使用默认参数构建的，即迭代100次和截断值5。

所以我的问题是，如何加速这个过程，如何减少构建模型所需的时间。

语料库的大小可能是导致这个问题的原因，但我想知道是否有人遇到过类似的问题，如果有，那么如何解决这个问题。

请提供一些线索。

提前感谢！

回答：

通常处理这种问题的方法是将训练数据分成几个部分，让每个部分创建自己的模型。之后再将这些模型合并。我不确定这种方法是否适用于这种情况（我不是OpenNLP专家），下面还有另一种解决方案。此外，由于OpenNLP API似乎只提供了单线程的train()方法，我建议提交一个请求，增加多线程选项。

对于单线程操作速度慢的问题，主要的两个减速因素是IO和CPU，这两者可以分别处理：

• IO – 你使用的是哪种硬盘？普通（磁性）的还是SSD？转用SSD应该会有所帮助。
• CPU – 你使用的是哪种CPU？转用更快的CPU会有所帮助。不要关注核心数量，这里你需要的是原始速度。

你可以考虑从亚马逊网络服务或谷歌计算引擎获取高性能CPU服务器，并在那里运行训练——之后你可以下载模型。这两者都提供使用Xeon（Sandy Bridge或Ivy Bridge）CPU和本地SSD存储的高性能服务器。