我一直在使用 Zhixuhao 的 U-Net 实现 来尝试进行语义二元分割，并根据这个 Stackoverflow 回答的建议对其进行了一些修改：Keras，二元分割，向损失函数添加权重
以便能够进行像素级加权二元交叉熵，如原始 U-Net 论文中所做的那样（参见第5页），以强制我的 U-Net 学习边界像素。本质上，思路是在模型内部添加一个 lambda 层来计算像素级加权交叉熵，然后使用一个“身份损失”，它只是复制网络的输出。
这是我的代码的样子：
def unet(pretrained_weights = None,input_size = (256,256,1)): inputs = Input(input_size) # [... Unet architecture from Zhixuhao's model.py file...] conv10 = Conv2D(1, 1, activation = 'sigmoid', name='true_output')(conv9) mask_weights = Input(input_size) true_masks = Input(input_size) loss1 = Lambda(weighted_binary_loss, output_shape=input_size, name='loss_output')([conv10, mask_weights, true_masks]) model = Model(inputs = [inputs, mask_weights, true_masks], outputs = loss1) model.compile(optimizer = Adam(lr = 1e-4), loss =identity_loss)并添加了这两个函数：
def weighted_binary_loss(X): y_pred, weights, y_true = X loss = keras.losses.binary_crossentropy(y_pred, y_true) loss = multiply([loss, weights]) return lossdef identity_loss(y_true, y_pred): return y_pred最后这是我 main.py 的相关部分：
input_size = (256,256,1)target_size = (256,256)myGene = trainGenerator(5,'data/moma/train','img','seg','wei',data_gen_args,save_to_dir=None,target_size=target_size)model = unet(input_size=input_size)model_checkpoint = ModelCheckpoint('unet_moma_weights.hdf5',monitor='loss',verbose=1, save_best_only=True)model.fit_generator(myGene,steps_per_epoch=300,epochs=5,callbacks=[model_checkpoint])现在这段代码运行得很好，我可以训练我的 U-Net，并且它确实学会了边界像素，但只有当我将输入图像调整为 256*256 大小时。如果我在 main.py 中使用 input_size=(256,32,1) 和 target_size=(256,32)，这是我的数据的相关维度，这允许我使用更大的批量大小，我会得到以下错误：
ValueError: Operands could not be broadcast together with shapes (256, 32, 1) (256, 32)
对于行 loss = multiply([loss, weights])。实际上，权重有一个额外的单一维度。我不明白为什么使用 256*256 输入时不会引发错误，但我尝试使用 k.expand_dims() 或 Reshape() 使两个输入具有相同的维度，但虽然代码没有发出错误并且损失收敛了，当我用额外的输入测试我的网络时，我得到了空白输出（即完全灰色或白色或黑色的图像，或者与我的输入无关的东西）。
所以这是一个很长的文本，为了回答以下问题：为什么 multiply() 在 256*32 的情况下会发出错误，而在 256*256 的情况下不会，为什么在输入上创建/删除维度没有帮助？
谢谢！
附注：为了让网络在训练后输出实际的预测而不是像素级损失，我移除了损失层和两个额外的输入层，代码如下：
new_model = Model(inputs=model.inputs,outputs=model.get_layer("true_output").output)new_model.compile(optimizer = Adam(lr = 1e-4), loss = 'binary_crossentropy')new_model.set_weights(model.get_weights())这在 256*256 的情况下工作得很好（至少）
回答：
所以对于偶然发现这个问题的任何人，这是我如何实现损失函数的方式：
def pixelwise_weighted_binary_crossentropy(y_true, y_pred): ''' Pixel-wise weighted binary cross-entropy loss. The code is adapted from the Keras TF backend. (see their github) Parameters ---------- y_true : Tensor Stack of groundtruth segmentation masks + weight maps. y_pred : Tensor Predicted segmentation masks. Returns ------- Tensor Pixel-wise weight binary cross-entropy between inputs. ''' try: # The weights are passed as part of the y_true tensor: [seg, weight] = tf.unstack(y_true, 2, axis=-1) seg = tf.expand_dims(seg, -1) weight = tf.expand_dims(weight, -1) except: pass epsilon = tf.convert_to_tensor(K.epsilon(), y_pred.dtype.base_dtype) y_pred = tf.clip_by_value(y_pred, epsilon, 1. - epsilon) y_pred = tf.math.log(y_pred / (1 - y_pred)) zeros = array_ops.zeros_like(y_pred, dtype=y_pred.dtype) cond = (y_pred >= zeros) relu_logits = math_ops.select(cond, y_pred, zeros) neg_abs_logits = math_ops.select(cond, -y_pred, y_pred) entropy = math_ops.add(relu_logits - y_pred * seg, math_ops.log1p(math_ops.exp(neg_abs_logits)), name=None) # This is essentially the only part that is different from the Keras code: return K.mean(math_ops.multiply(weight, entropy), axis=-1)
