我想知道是否可以向卷积神经网络的全连接层添加一个变量(除了来自前一卷积层的连接外,还可以使用一个额外的特征集来进行区分)。如果这是可能的,能否有人指出一个示例或文档说明如何操作?
我希望使用Keras,但如果Keras过于限制,我也愿意使用TensorFlow。
编辑:在这种情况下,我认为这应该如何工作的是,我向神经网络提供一个包含图像和相关特征集的列表(以及在训练期间的相关分类)。
编辑2:我想要的架构看起来像这样:
___________ _________ _________ _________ ________ ______ | Conv | | Max | | Conv | | Max | | | | | Image --> | Layer 1 | --> | Pool 1 | --> | Layer 2 | --> | Pool 2 | -->| | | | |_________| |________| |_________| |________| | Dense | | Out | | Layer |-->|_____| Other ------------------------------------------------------------>| | Data | | |_______|
回答:
确实,正如@Marcin所说,你可以使用合并层。
我建议你使用函数式API来实现这一点。如果你不熟悉它,可以在这里阅读一些文档。
这是使用keras API绘制的网络模型:
from keras.layers.core import *from keras.models import Model# 这是你的图像输入定义。你需要指定一个形状。 image_input = Input(shape=(32,32,3))# 一些更多的数据输入,具有10个特征(例如)other_data_input = Input(shape=(10,)) # 第一层卷积,用随机参数填充,仅作为示例conv1 = Convolution2D(nb_filter = nb_filter1, nb_row = nb_row1, nb_col=_nb_col1, padding = "same", activation = "tanh")(image_input)# 对其进行最大池化 conv1 = MaxPooling2D(pool_size=(pool_1,pool_2))(conv1)# 第二层卷积conv2 = Convolution2D(nb_filter = nb_filter2, nb_row = nb_row2, nb_col=_nb_col2, padding = "same", activation = "tanh")(conv1)# 对其进行最大池化conv2 = MaxPooling2D(pool_size=(pool_1,pool_2))(conv2)# 展平输出,以便与其他输入合并first_part_output = Flatten()(conv2)# 通过连接将卷积网络的输出与添加的特征合并merged_model = keras.layers.concatenate([first_part_output, other_data_input])# 对输出进行预测(假设你想要二元分类)predictions = Dense(1, activation ='sigmoid')(merged_model)# 现在创建模型model = Model(inputs=[image_input, other_data_input], outputs=predictions)# 查看你的模型 model.summary()# 编译模型model.compile(optimizer='adamax', loss='binary_crossentropy')
就这样 🙂 最后,这相当简单,定义你想要的输入和输出的数量,只需在创建Model
对象时以列表形式指定它们。当你进行拟合时,也要分别提供它们,以列表形式输入。