我正在定制标准的model.fit()方法,以便在验证过程中计算每个样本的帧级准确度。样本的维度是512个时间帧和128个频率箱。目前,我通过循环遍历样本的每个帧来计算帧级二元准确度,但这需要更多的时间(每个样本大约7秒)。因此,验证过程需要很长时间。如何通过向量化或其他方法加速这个过程?
我使用的示例代码如下:
def test_step(self, data): x, y = data # 解包数据 x: (8, 512, 128, 1) y: (8, 512, 6) for spl in tf.range(1 if tf.shape(x)[0] == None else tf.shape(x)[0]): val_accuracy_frm = tf.keras.metrics.BinaryAccuracy(name='frame_accuracy') val_accuracy_frm_auc = tf.keras.metrics.AUC(name='AUC_accuracy') x_spl = tf.reshape(x[spl], (1, tf.shape(x)[1], tf.shape(x)[2], tf.shape(x)[3])) y_pred = self(x_spl, training=False) # y_pred : ([4], 1,512, 6) for frame in tf.range(tf.shape(x)[1]): for scl in ['8', '4', '2', '1']: # 注意:为了简便,'8'总是最小的分辨率尺度,并且总是索引0,然后是'4' --> '2' --> '1' if scl == '8': val_accuracy_frm.reset_states() val_accuracy_frm.update_state(y[spl][frame], y_pred[0][0][frame]) accuracy_8 = val_accuracy_frm.result() val_accuracy_frm.reset_states() elif scl == '4': val_accuracy_frm.reset_states() val_accuracy_frm.update_state(y[spl][frame], y_pred[1][0][frame]) accuracy_4 = val_accuracy_frm.result() val_accuracy_frm.reset_states() elif scl == '2': val_accuracy_frm.reset_states() val_accuracy_frm.update_state(y[spl][frame], y_pred[2][0][frame]) accuracy_2 = val_accuracy_frm.result() val_accuracy_frm.reset_states() elif scl == '1': val_accuracy_frm.reset_states() val_accuracy_frm.update_state(y[spl][frame], y_pred[3][0][frame]) accuracy_1 = val_accuracy_frm.result() val_accuracy_frm.reset_states() val_acc['a8'] = tf.reduce_mean((val_acc['a8'], float(accuracy_8))) val_acc['a4'] = tf.reduce_mean((val_acc['a4'], float(accuracy_4))) val_acc['a2'] = tf.reduce_mean((val_acc['a2'], float(accuracy_2))) val_acc['a1'] = tf.reduce_mean((val_acc['a1'], float(accuracy_1))) # bce_loss(y, y_pred) # 更新跟踪损失的指标 val_loss_avg.update_state(y, y_pred) # 更新指标。 val_accuracy.update_state(y, y_pred) # 更新指标。 return {m.name: m.result() for m in [val_loss_avg, val_accuracy]}
我使用的是一个4输出模型,批次大小为8,总标签数为6。
回答:
假设y_pred
是一个4元组,其中每个y_pred[i]
的形状为(8, 512, 6)
,就像y
一样,我认为你可以这样做:
def test_step(self, data): x, y = data # 解包数据 x: (8, 512, 128, 1) y: (8, 512, 6) y_pred = self(x, training=False) # 形状 ([4], 8, 512, 6) val_acc = {} for key, idx in zip(["a8", "a4", "a2", "a1"], range(4)): val_acc[key] = tf.keras.metrics.binary_accuracy(y, y_pred[idx]) # 形状 (8, 512) val_acc = {k: tf.reduce_mean(val_acc[k]) for k in val_acc} # ...
val_acc
然后是一个dict
,包含整个批次中a8、a4、a2、a1的平均准确度,你可以根据需要使用这些数据。
编辑:如果你想要每帧的指标,只需删除带有reduce_mean
的最后一行即可。