我正在使用Spacy训练一个自定义的NER模型，训练数据为5000条文本条目，包含6个实体。在对未见过的500条文本样本进行评估时，我得到的整体模型F分数（93.8）与任何单个实体的F分数之间存在较大的差异。能有人帮我理解整体F分数是如何计算的，以及为什么整体F分数与单个实体分数之间有如此大的差异吗？

我使用Spacy构建了自己的自定义命名实体识别（NER）模型。我的训练数据集大小为5000，包含6个实体。此外，我在500个样本上测试了我的模型，并使用Scorer和GoldParse对模型进行了评估。

这是我在测试数据上评估性能的代码 –

def evaluate(ner_model, examples):    scorer = Scorer()    for input_, annot in examples:        doc_gold_text = ner_model.make_doc(input_)        gold = GoldParse(doc_gold_text, entities=annot.get('entities'))        pred_value = ner_model(input_)        scorer.score(pred_value, gold)    return scorer.scores

这是我得到的结果 –

{'uas': 0.0, 'las': 0.0, 'ents_p': 93.62838106164233, 'ents_r':  93.95728476332452, 'ents_f': 93.79254457050243, 'ents_per_type': { 'ENTITY1': {'p': 6.467595956926736, 'r': 54.51002227171492, 'f':  11.563219748420247}, 'ENTITY2': {'p': 6.272470243289469, 'r': 49.219391947411665, 'f':  11.126934984520123},  'ENTITY3': {'p': 18.741109530583213, 'r': 85.02742820264602, 'f':  30.712745497989392},  'ENTITY4': {'p': 13.413228854574788, 'r': 70.58823529411765, 'f':  22.54284884283916},  'ENTITY5': {'p': 19.481765834932823, 'r': 82.85714285714286, 'f':  31.546231546231546}, 'ENTITY6': {'p': 24.822695035460992, 'r': 64.02439024390245, 'f': 35.77512776831346}}, 'tags_acc': 0.0, 'token_acc': 100.0}

你可以看到ents_f与任何其他实体类型的f之间存在较大的差异。模型的整体F分数与单个实体分数之间有什么关系？

回答：

我认为这是一个应该在下一个版本中修复的错误。你可以在这里查看详细信息：https://github.com/explosion/spaCy/issues/3968