我正在开发一个多模态分类器，涉及图像和文本。我已经成功开发了两个模型，一个是用于图像的CNN，另一个是基于BERT的文本模型。这两个模型的最后一层都是具有n个单元和softmax激活函数的Dense层（其中n是类别的数量）。Keras提供了不同的合并层来组合这些模型的输出向量（https://keras.io/api/layers/merging_layers/），然后可以创建一个新的网络，但我有一个问题：有没有更好的方法来组合单个模型的决策？也许可以根据某些标准来加权向量中的值？目前，我使用了一个简单的连接层来开发我的模型，如下所示：
image_side = images_model(image_input)text_side = text_model(text_input)# 连接merged = layers.Concatenate(name='Concatenation')([image_side, text_side])merged = layers.Dense(128, activation = 'relu', name='Dense_128')(merged)merged = layers.Dropout(0.2)(merged)output = layers.Dense(nClasses, activation='softmax', name = "class")(merged)提前感谢！
回答：
这里提供了一种实现两个张量（模型输出）之间加权平均的方法，其中权重可以自动学习。我还引入了权重总和必须为1的约束。为了实现这一点，我们只需对我们的权重应用softmax。在下面的虚拟示例中，我使用这种方法结合了两个全连接分支的输出，但你可以在任何其他场景中使用它
这里是自定义层：
class WeightedAverage(Layer): def __init__(self, n_output): super(WeightedAverage, self).__init__() self.W = tf.Variable(initial_value=tf.random.uniform(shape=[1,1,n_output], minval=0, maxval=1), trainable=True) # (1,1,n_inputs) def call(self, inputs): # inputs是一个形状为[(n_batch, n_feat), ..., (n_batch, n_feat)]的张量列表 # 扩展每个输入的最后一个维度 [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)] inputs = [tf.expand_dims(i, -1) for i in inputs] inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs) weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs) # 权重在最后一个维度上的总和为1 return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat)这里是回归问题中的完整示例：
inp1 = Input((100,))inp2 = Input((100,))x1 = Dense(32, activation='relu')(inp1)x2 = Dense(32, activation='relu')(inp2)x = [x1,x2]W_Avg = WeightedAverage(n_output=len(x))(x)out = Dense(1)(W_Avg)m = Model([inp1,inp2], out)m.compile('adam','mse')n_sample = 1000X1 = np.random.uniform(0,1, (n_sample,100))X2 = np.random.uniform(0,1, (n_sample,100))y = np.random.uniform(0,1, (n_sample,1))m.fit([X1,X2], y, epochs=10)最后，你还可以通过以下方式可视化权重的值：
tf.nn.softmax(m.get_weights()[-3]).numpy()参考和更多示例： https://towardsdatascience.com/neural-networks-ensemble-33f33bea7df3
