我一直在使用Tensorflow 2.0处理二进制序列输入和输出，我很好奇Tensorflow在这些场景下训练时是如何计算诸如召回率或准确率等指标的。
我的网络每个样本由60个时间步组成，每个时间步有300个特征，因此我的预期输出是一个(60, 1)的数组，由1和0组成。假设我有2000个验证样本。在评估每个epoch的验证集时，Tensorflow是将这2000个样本全部连接成一个(2000*60=120000, 1)的数组，然后与连接后的真实标签进行比较，还是分别评估每个(60, 1)的数组，然后返回这些值的平均值？有没有办法修改这种行为？
回答：
Tensorflow/Keras 默认情况下对训练数据按批次计算指标，而对传递给fit方法中的validation_data参数的所有数据计算相同的指标。
这意味着在训练过程中打印的训练数据的指标是所有批次计算得分的平均值。换句话说，对于训练集，Keras单独评估每个批次，然后返回这些值的平均值。对于验证数据则不同，Keras获取所有验证样本，然后与“连接”的真实标签进行比较。
为了证明这种行为，我提供了一个虚拟示例。我提供了一个自定义回调，该回调在每个epoch结束时确实对传递的所有数据（训练和可选的验证）计算准确率得分。这对我们理解Tensorflow在训练过程中的行为很有帮助。
import numpy as npfrom sklearn.metrics import accuracy_scoreimport tensorflow as tffrom tensorflow.keras.layers import *from tensorflow.keras.models import *from tensorflow.keras.callbacks import *class ACC_custom(tf.keras.callbacks.Callback): def __init__(self, train, validation=None): super(ACC_custom, self).__init__() self.validation = validation self.train = train def on_epoch_end(self, epoch, logs={}): logs['ACC_score_train'] = float('-inf') X_train, y_train = self.train[0], self.train[1] y_pred = (self.model.predict(X_train).ravel()>0.5)+0 score = accuracy_score(y_train.ravel(), y_pred) if (self.validation): logs['ACC_score_val'] = float('-inf') X_valid, y_valid = self.validation[0], self.validation[1] y_val_pred = (self.model.predict(X_valid).ravel()>0.5)+0 val_score = accuracy_score(y_valid.ravel(), y_val_pred) logs['ACC_score_train'] = np.round(score, 5) logs['ACC_score_val'] = np.round(val_score, 5) else: logs['ACC_score_train'] = np.round(score, 5)创建虚拟数据
x_train = np.random.uniform(0,1, (1000,60,10))y_train = np.random.randint(0,2, (1000,60,1))x_val = np.random.uniform(0,1, (500,60,10))y_val = np.random.randint(0,2, (500,60,1))拟合模型
inp = Input(shape=((60,10)), dtype='float32')x = Dense(32, activation='relu')(inp)out = Dense(1, activation='sigmoid')(x)model = Model(inp, out)es = EarlyStopping(patience=10, verbose=1, min_delta=0.001, monitor='ACC_score_val', mode='max', restore_best_weights=True)model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])history = model.fit(x_train,y_train, epochs=10, verbose=2, callbacks=[ACC_custom(train=(x_train,y_train),validation=(x_val,y_val)),es], validation_data=(x_val,y_val))在下面的图表中，我将我们的回调计算的准确率与Keras计算的准确率进行了比较
plt.plot(history.history['ACC_score_train'], label='accuracy_callback_train')plt.plot(history.history['accuracy'], label='accuracy_default_train')plt.legend(); plt.title('训练准确率')
plt.plot(history.history['ACC_score_val'], label='accuracy_callback_valid')plt.plot(history.history['val_accuracy'], label='accuracy_default_valid')plt.legend(); plt.title('验证准确率')
正如我们所见，训练数据的准确率（第一张图）在默认方法和我们的回调之间是不同的。这意味着训练数据的准确率是按批次计算的。验证准确率（第二张图）由我们的回调和默认方法计算得出是相同的！这意味着验证数据上的得分是一次性计算的。
