我目前正在尝试构建一个模型，该模型使用图像序列并对序列中的每个项目进行分类（序列之间不保留状态），使用Keras和TensorFlow后端；然而，我在第一层的输入形状上遇到了问题。

模型看起来像这样：

model.add(TimeDistributed(Conv2D(64, (3, 3), activation='relu'), input_shape=(10, 1, 224, 224, 3)))model.add(TimeDistributed(MaxPooling2D((2, 2), strides=(1, 1))))model.add(TimeDistributed(Conv2D(128, (4,4), activation='relu')))model.add(TimeDistributed(MaxPooling2D((2, 2), strides=(2, 2))))model.add(TimeDistributed(Conv2D(256, (4,4), activation='relu')))model.add(TimeDistributed(MaxPooling2D((2, 2), strides=(2, 2))))model.add(TimeDistributed(Flatten()))model.add(Dropout(0.5))model.add(LSTM(256, return_sequences=False, dropout=0.5))model.add(Dense(num_classes, activation='sigmoid'))

我认为我的问题源于对数组形状缺乏理解，很可能犯了一个新手错误。每个单独的序列被加载到形状为(10, 1, 224, 224, 3)的numpy数组中，其中第一个轴是序列中项目的数量（它们被填充到相同长度），第二个是批量大小，其余的是RGB图像。从我阅读文档（以及我的错误）中了解到，时间分布包装器中的Conv2D需要一个5D数组，本质上是格式化为正常的Conv2D输入(batch size, rows, cols, channels)，再加上一个时间维度（序列中的每个项目）。这是否接近准确？

继续讨论我面临的问题… 如果我尝试输入形状为(10, 1, 224, 224, 3)的图像序列，我会得到错误“ValueError: number of input channels does not match corresponding dimension of filter, 224 != 3”。谁能对此提供一些见解？我相当确定我没有正确地塑造输入数组和input_shape。

我还有另一个问题，希望有人能回答：一旦这个问题解决了，我可以使用序列作为输入，我该如何不仅输入如上所示的单个图像序列，而是使用一个序列数组？我的数据集由数千个这样的序列组成。我之前的所有经验都是使用Caffe，当然不是使用任何递归模型，所以我不仅不熟悉实际实现递归网络，我对Keras整体也不熟悉（虽然我正在开始学习，尽管速度很慢，哈哈）。从我的经验和观察来看，Caffe在你和数据输入之间提供了一个厚重的抽象层，所以我之前从未处理过这个问题。

我希望这个问题和我的问题是清晰而简洁的，任何提供的信息都将不胜感激！

回答：

根据Keras文档，你需要将input_dim更新为

model.add(TimeDistributed(Conv2D(64, (3, 3), activation='relu'), input_shape=(10, 224, 224, 3))) 

然后使用适合新数据形状的图像生成器。你可以使用这个gist中的调整版本。

它与主要的Keras ImageDataGenerator相同，但我添加了一个选项，以便在每次迭代中获取多个图像/帧。这是通过更改参数frames_per_step来指定你希望在每次迭代中包含的帧/图像数量。

使用方法如下：

from tweaked_ImageGenerator_v2 import ImageDataGeneratordatagen = ImageDataGenerator()train_data=datagen.flow_from_directory('path/to/data', target_size=(x, y), batch_size=32, frames_per_step=4)