这个问题的本质：

我想找到一种正确的方法来计算每个epoch后验证和训练数据的Fscore（不是批次计算）

对于二分类任务，我想使用简单的keras模型在每个epoch后计算Fscore。但如何计算Fscore似乎有很多讨论。

我知道keras以批次方式工作，计算每个批次的fscore的一种方法是https://stackoverflow.com/a/45305384/10053244（Fscore计算：f1）。

批次计算可能会相当混乱，我更喜欢在每个epoch后计算Fscore。因此，仅仅调用history.history['f1']或history.history['val_f1']不能解决问题，因为它显示的是批次的fscores。

我发现一种方法是使用from keras.callbacks import ModelCheckpoint函数保存每个模型：

1. 在每个epoch后保存每个模型的权重
2. 重新加载模型并使用model.evaluate 或 model.predict

编辑：

使用tensorflow后端，我决定跟踪TruePositives、FalsePositives和FalseNegatives（如umbreon29建议的）。但现在有趣的是：重新加载模型时，训练数据的结果不同（TP、FP、FN不同）但验证集的结果不变！

因此，一个简单的模型存储权重以重建每个模型并重新计算TP、FN、TP（最后计算Fscore）看起来像这样：

from keras.metrics import TruePositives, TrueNegatives, FalseNegatives, FalsePositives## 简单的keras模型sequence_input = Input(shape=(input_dim,), dtype='float32')preds = Dense(1, activation='sigmoid',name='output')(sequence_input)model = Model(sequence_input, preds)model.compile(loss='binary_crossentropy',              optimizer='adam',              metrics=[TruePositives(name='true_positives'),                       TrueNegatives(name='true_negatives'),                       FalseNegatives(name='false_negatives'),                       FalsePositives(name='false_positives'),                       f1])# 模型检查点filepath="weights-improvement-{epoch:02d}-{val_f1:.2f}.hdf5"checkpoint = ModelCheckpoint(os.path.join(savemodel,filepath), monitor='val_f1', verbose=1, save_best_only=False, save_weights_only=True, mode='auto')callbacks_list = [checkpoint]history = model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=epoch, batch_size=batch,                    callbacks=[callbacks_list])## 保存TP, FN, FP以计算Fscoretp.append(history.history['true_positives'])fp.append(history.history['false_positives'])fn.append(history.history['false_negatives'])arr_train = np.stack((tp, fp, fn), axis=1)## 对tp_val, fp_val, fn_val做同样的事情 [...]arr_val = np.stack((tp_val, fp_val, fn_val), axis=1)## 以下方法只显示批次的fscores，不应该使用：## f1_sc.append(history.history['f1'])  

在每个epoch后重新加载模型以计算Fscores（predict方法与sklearn的fscore指标from sklearn.metrics import f1_score等同于从TP、FP、FN计算fscore指标）：

Fscore_val = []fscorepredict_val_sklearn = []Fscore_train = []fscorepredict_train = []## model_loads包含模型路径列表for i in model_loads:    ## 每次重建模型，因为只存储了权重    sequence_input = Input(shape=(input_dim,), dtype='float32')    preds = Dense(1, activation='sigmoid',name='output')(sequence_input)    model = Model(sequence_input, preds)    model.load_weights(i)        # 编译模型（需要进行预测）    model.compile(loss='binary_crossentropy',                  optimizer='adam',                  metrics=[TruePositives(name='true_positives'),                           TrueNegatives(name='true_negatives'),                           FalseNegatives(name='false_negatives'),                           FalsePositives(name='false_positives'),                           f1                           ])            ### 对于验证数据    ## 使用evaluate    y_pred =  model.evaluate(x_val, y_val, verbose=0)    Fscore_val.append(y_pred)  ## 包含（loss,tp,fp,fn, f1-batchwise）        ## 使用predict    y_pred = model.predict(x_val)    val_preds = [1 if x > 0.5 else 0 for x in y_pred]    cm = f1_score(y_val, val_preds)    fscorepredict_val_sklearn.append(cm)  ## 等同于从Fscore_vals的tp,fp, fn计算的Fscore    ### 对于训练数据    y_pred =  model.evaluate(x_train, y_train, verbose=0)     Fscore_train.append(y_pred) ## 也包含（loss,tp,fp,fn, f1-batchwise）        y_pred =  model.predict(x_train, verbose=0)  # 给出概率    train_preds = [1 if x > 0.5 else 0 for x in y_pred]    cm = f1_score(y_train, train_preds)    fscorepredict_train.append(cm)

使用Fscore_val的tp,fn,fp计算Fscore，并将其与fscorepredict_val_sklearn进行比较，等同于从arr_val计算Fscore。

然而，当比较Fscore_train和arr_train时，tp,fn和fp的数量不同。因此，我也得出了不同的Fscores。tp,fn,fp的数量应该相同，但它们不是..这是个bug吗？

我应该相信哪一个？fscorepredict_train实际上似乎更值得信赖，因为它们从一开始就高于“总是猜测类别1”的Fscore（当recall=1时）。（fscorepredict_train[0]=0.6784 vs f_hist[0]=0.5736 vs 总是猜测类别1的Fscore = 0.6751）

[注意： Fscore_train[0] = [0.6853608025386962, 2220.0, 250.0, 111.0, 1993.0, 0.6730511784553528] （loss,tp,tn,fp,fn）导致fscore= 0.6784 ，所以从Fscore_train计算的Fscore = fscorepredict_train ]

回答：

我提供了一个自定义回调函数，用于在每个epoch结束时计算所有数据的分数（在你的情况下是从sklearn计算的F1分数，适用于训练数据和可选的验证数据）

class F1History(tf.keras.callbacks.Callback):    def __init__(self, train, validation=None):        super(F1History, self).__init__()        self.validation = validation        self.train = train    def on_epoch_end(self, epoch, logs={}):        logs['F1_score_train'] = float('-inf')        X_train, y_train = self.train[0], self.train[1]        y_pred = (self.model.predict(X_train).ravel()>0.5)+0        score = f1_score(y_train, y_pred)               if (self.validation):            logs['F1_score_val'] = float('-inf')            X_valid, y_valid = self.validation[0], self.validation[1]            y_val_pred = (self.model.predict(X_valid).ravel()>0.5)+0            val_score = f1_score(y_valid, y_val_pred)            logs['F1_score_train'] = np.round(score, 5)            logs['F1_score_val'] = np.round(val_score, 5)        else:            logs['F1_score_train'] = np.round(score, 5)