我有一组左右图像的序列。我需要将这样的两组序列输入到模型中。我已经搞清楚了如何输入一个序列：

seq = Sequential()seq.add(ConvLSTM2D(filters=40, kernel_size=(3, 3),                   input_shape=(None, 150, 150, 1),                   padding='same', return_sequences=True))seq.add(BatchNormalization())seq.add(ConvLSTM2D(filters=40, kernel_size=(3, 3),                   padding='same', return_sequences=True))seq.add(BatchNormalization())seq.add(ConvLSTM2D(filters=40, kernel_size=(3, 3),                   padding='same', return_sequences=True))seq.add(BatchNormalization())seq.add(ConvLSTM2D(filters=40, kernel_size=(3, 3),                   padding='same', return_sequences=True))seq.add(BatchNormalization())seq.add(Conv3D(filters=1, kernel_size=(3, 3, 3),               activation='sigmoid',               padding='same', data_format='channels_last'))

要引入两个序列，即形状为(2, 150, 150, 1)的数组，需要做哪些改动呢？

回答：

我认为你可以这样做，将第二张图像设置为第二个通道，像这样(input_shape=(None, 150, 150, 2))：

seq.add(ConvLSTM2D(filters=40, kernel_size=(3, 3),                   input_shape=(None, 150, 150, 2),                   padding='same', return_sequences=True))

然而，如果你想计算两个不同的流：在Keras中，有两种设置网络的方式：通过”Sequential”和”Functional”API。虽然Sequential涵盖了你将遇到的绝大多数用例，但Functional更灵活，允许非顺序的计算结构，即一层的输出不总是下一层的唯一输入。在你的情况下，你需要2个输入和一些覆盖两张图像的层，这些层在后期某个阶段合并。因此，你需要的是由Functional API生成的网络。

https://keras.io/getting-started/functional-api-guide/

你将需要两个“流”来输入你的网络。请注意添加层的语法略有不同。

import kerasfrom keras.models import Modelfrom keras.layers import Dense, ConvLSTM2D, Input, Concatenate, BatchNormalizationinput1 = Input(shape=[150, 150, 1])nn1 = ConvLSTM2D(filters=40, kernel_size=(3, 3),                   input_shape=(None, 150, 150, 1),                   padding='same', return_sequences=True)(input1)nn1 = BatchNormalization()(nn1)... # 依此类推# 计算第二流input2 = Input(shape=[150, 150, 1])nn2 = ConvLSTM2D(filters=40, kernel_size=(3, 3),                   input_shape=(None, 150, 150, 1),                   padding='same', return_sequences=True)(input2)nn2 = BatchNormalization()(nn2)... # 依此类推# 最后，将nn1和nn2流合并成nnnn = Concatenate()([nn1, nn2])# 并处理这个新的nn层nn = Dense(64, activation='relu')(nn)# 最后，编译模型...model = Model([input1, input2], nn)model.compile(loss=loss, optimizer=optimizer, metrics=['accuracy'])# 并进行拟合，注意现在它接收两个输入model.fit([pix_train_1,            pix_train_2],            y, ...         )