我正在研究使用RGB-D图像的多模态深度学习分类器。我为每种情况开发了两个独立的模型。第一个模型是针对形状为(3046,200,200,3)的RGB图像的开始部分结合了CNN的LSTM，第二个模型是针对形状为(3046,200,200)的深度图像的LSTM。我试图弄清楚如何进行带投票的集成。

我已经编写了下面的代码来查找最常见的投票标签，但似乎效果不佳。还有其他方法可以对模型进行后期融合吗？

labels = []loaded_model = keras.models.load_model('Saved/LSTM_RGB/LSTMRGB.h5')predictsRGB = np.argmax(loaded_model.predict(x_testRGB), axis=1)labels.append(predictsRGB)loaded_model = keras.models.load_model('Saved/LSTM_DEPTH/LSTMDEPTH.h5')predictsDepth = np.argmax(loaded_model.predict(x_testDepth), axis=1)labels.append(predictsDepth)print(labels)# Ensemble with votinglabels = np.array(labels)labels = np.transpose(labels, (1, 0))print(labels,labels.shape)labels = scipy.stats.mode(labels)[0]labels = np.squeeze(labels)print(labels)print(labels.shape)

回答：

你有两个分类器，在这种情况下，直接进行投票没有意义，因为如何解决平局问题呢？

由于你在模型预测上使用了np.argmax，我认为模型输出的预测是概率。如果你不能引入第三个模型，你可以对这些概率进行平均，然后再取argmax。

举个例子：模型1预测类别1的概率为0.9，类别0的概率为0.1，而模型2预测类别1的概率为0.3，类别0的概率为0.7。

平均后的概率将是：类别1：0.6，类别0：0.4，你会选择类别1。某种程度上，这是有道理的，因为模型1对其预测的确定性比模型2高得多。