我目前正在构建一个分类管道，现在发现corenlp词形还原器似乎是一个相当显著的瓶颈。我正在尝试弄清楚是我词形还原的方式导致了减速，还是词形还原本身就很慢。
这是我当前的代码:
def singleStanfordSentenceToLemmas(sentence: String): Seq[String] = { val doc = new Annotation(sentence) pipeline.annotate(doc) val tokens = doc.get(classOf[TokensAnnotation]).toList tokens.par.foldLeft(Seq[String]())( (a, b) => { val lemma = b.get(classOf[lemmaAnnotation]) if (!(stopWords.contains(b.lemma().toLowerCase) || puncWords.contains(b.originalText()))) a :+ lemma.toLowerCase else a } ) }这是创建管道的代码
val props = new Properties() props.put("annotators", "tokenize, ssplit, pos, lemma") val pipeline = new StanfordCoreNLP(props)我目前的理论是
a) 我使用一个完整的coreNLP对象的事实带来了很多开销，减慢了所有事情。或许有一个更简化的类只进行词形还原？
b) 词形还原器需要进行句子分割和词性标注似乎相当复杂，因为我只给它单个句子，有没有更有效的方法找到单个词的词形？
c) 或许corenlp本身就很慢，可能有更快的词形还原器存在。
任何帮助将不胜感激！
回答：
a) 是的，确实存在开销。你可以去掉其中的一些，但CoreNLP对我来说似乎在分离核心管道包装器和底层更直接的实体方面相当不一致。但是你可以这样做:
你还需要类似的东西
private lazy val POSTagger =new MaxentTagger("edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger")来预先进行词性标注，但我认为这能让你走上正确的轨道。
b) 你不会轻易摆脱所有这些。CoreLabel是CoreNLP的主要数据结构，用于向同一元素添加越来越多的数据。因此，词形还原将向同一结构添加词形。词性标注将被词形还原器用来区分名词、动词等，并从中选取词性标签。
c) 是的，情况也是如此。如何处理这个问题因你的意图和上下文而异。例如，我在Spark中使用CoreNLP来利用分布式集群的全部力量，我还预先计算并存储了一些这些数据。希望这能给你一些启示。
