我正在尝试评估一个用于命名实体识别（NER）的artificial intelligence模型。
为了与其他基准进行比较，我需要计算模型的F1分数。然而，我不确定如何编写这个代码。

我的想法是：
真阳性：标记和标记相等，标记的真阳性
假阴性：标记相等但标记不相等，或者标记在预测中未出现，标记的假阴性
假阳性：标记不存在但被分配了一个标记，例子：

短语：”这是一个测试”
预测：{标记：这是，标签：WHO}
真实对：{标记：这，标签：WHO} {标记：一个测试，标签：what}
在这种情况下，{标记：这是，标签：WHO}被认为是WHO的假阳性。

代码如下：

       for val predicted tokens (伪代码) {          // val = struct { tokens, tags } from a phrase           for (auto const &j : val.tags) {                if (j.first == current_tokens) {                    if (j.second == tag) {                        true_positives[tag_id]++;                    } else {                        false_negatives[tag_id]++;                    }                    current_token_exists = true;                }                            }            if (!current_token_exists) {                false_positives[tag_id]++;            }        }        for (auto const &i : val.tags) {            bool find = 0;            for (auto const &j : listed_tokens) {                if (i.first == j) {find = 1; break;}            }            if (!find) {                false_negatives[str2tag_id[i.second]]++;            }        }

之后，计算F-1分数：

    float precision_total, recall_total, f_1_total;    precision_total = total_true_positives / (total_true_positives + total_false_positives);    recall_total = total_true_positives / (total_true_positives + total_false_negatives);    f_1_total = (2 * precision_total * recall_total) / (precision_total + recall_total);

然而，我认为在某些概念上我可能是错误的。有人有意见吗？

回答：

这不是一个完整的答案。查看这里，我们可以看到定义NER的F1分数有许多可能的方式。除了TP、TN、FN和FP之外，至少有6种可能的情况，因为一个标签可能对应多个标记，因此我们可能需要考虑部分匹配。如果你仔细看，会发现定义F1分数的方式各不相同，有些定义TP为严格阳性和部分阳性的加权平均，例如。CoNLL，这是NER最著名的基准之一，看起来他们使用了严格的召回和精确度定义，这足以定义F1分数：

精确度是学习系统找到的命名实体中正确百分比。召回率是语料库中存在的命名实体被系统找到的百分比。只有当命名实体与数据文件中对应的实体完全匹配时，才被认为是正确的。