我正在尝试使用SpaCy Matcher包来检测句子中是否存在被动语态。我已经编写了下面的模式，并且它能正确地找到被动动词和句子。不过，我现在的问题是速度。我有大约100万条记录，每条记录大约有10个句子。我想知道是否有办法让搜索更加高效？比如不返回结束和开始的标记？

匹配器：

matcher = Matcher(nlp.vocab)passive_rule1 = [{'DEP':'nsubjpass', 'OP':'*'}, {'DEP':'xcomp', 'OP':'*'}, {'DEP':'aux','OP':'*'},{'DEP':'auxpass'}, {'DEP':'nsubj', 'OP':'*'}, {'TAG':'VBN'}]passive_rule2 =  [{'DEP': 'attr'}, {'DEP':'det', 'OP':'*'}, {'Tag':'NOUN', 'OP': '?'}, {'TAG':'VBN'}]matcher.add('passive_rule1',None, passive_rule1)matcher.add('passive_rule2 ', None, passive_rule2)

查找匹配项：

df.loc[:, 'PassiveVoice'] = df.Sentence.apply(lambda x:1 if len(matcher(nlp(x)))>0 else 0)

如果有其他任何建议，我也很乐意听取！

回答：

将100万条文本放入pandas的dataframe中，然后在循环中调用nlp100万次，这是个坏主意。相反，应该通过df["Sentence"].tolist()将文档放入列表中，并通过nlp.pipe高效处理它们：

此外要注意，使用nlp.pipe()时，你可以开启多处理，设置n_process=2（根据需要选择），并通过batch_size=50（根据需要选择）批量处理文本。