我在尝试在TensorFlow中实现两个张量之间的加权平均，其中权重可以自动学习。根据这里关于如何为Keras模型设计自定义层的建议，我的尝试如下：
class WeightedAverage(tf.keras.layers.Layer): def __init__(self): super(WeightedAverage, self).__init__() init_value = tf.keras.initializers.Constant(value=0.5) self.w = self.add_weight(name="weight", initializer=init_value, trainable=True) def call(self, inputs): return tf.keras.layers.average([inputs[0] * self.w, inputs[1] * (1 - self.w)])现在的问题是，在训练模型、保存并重新加载后，w的值仍然是0.5。是否有可能这个参数没有接收到任何梯度更新？当我打印模型的可训练变量时，这个参数被列出，因此在调用model.fit时应该被包括在内。
回答：
这里提供了一种实现两个张量之间加权平均的方法，其中权重可以自动学习。我还引入了权重总和必须为1的约束。为了实现这一点，我们只需对权重应用softmax。在下面的虚拟示例中，我结合了两个全连接分支的输出，但你可以在任何其他场景中使用这种方法。
这里是自定义层：
class WeightedAverage(Layer): def __init__(self): super(WeightedAverage, self).__init__() def build(self, input_shape): self.W = self.add_weight( shape=(1,1,len(input_shape)), initializer='uniform', dtype=tf.float32, trainable=True) def call(self, inputs): # inputs是形状为[(n_batch, n_feat), ..., (n_batch, n_feat)]的张量列表 # 扩展每个输入的最后一个维度 [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)] inputs = [tf.expand_dims(i, -1) for i in inputs] inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs) weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs) # 权重在最后一个维度上的总和为1 return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat) 这里是回归问题中的完整示例：
inp1 = Input((100,))inp2 = Input((100,))x1 = Dense(32, activation='relu')(inp1)x2 = Dense(32, activation='relu')(inp2)W_Avg = WeightedAverage()([x1,x2])out = Dense(1)(W_Avg)m = Model([inp1,inp2], out)m.compile('adam','mse')n_sample = 1000X1 = np.random.uniform(0,1, (n_sample,100))X2 = np.random.uniform(0,1, (n_sample,100))y = np.random.uniform(0,1, (n_sample,1))m.fit([X1,X2], y, epochs=10)最后，你还可以通过以下方式可视化权重的值：
tf.nn.softmax(m.get_weights()[-3]).numpy()