我正在学习深度学习的第一步。我试图从视频的图像序列（帧）中进行活动识别。因此，我在训练过程中遇到了问题。

首先，我需要确定我的图像文件夹的架构：

Making Food -> p1 -> rgb_frame1.png,rgb_frame2.png ... rgb_frame200.pngMaking Food -> p2 -> rgb_frame1.png,rgb_frame2.png ... rgb_frame280.png                      ...                      ...                      ...Taking  Medicine -> p1 -> rgb_frame1.png,rgb_frame2.png...rgbframe500.png                      etc..      

所以问题在于每个文件夹可以有不同数量的帧，这让我在模型的输入形状和应该使用的时步上感到困惑。我正在创建一个模型（如你下方所见），使用时间分布的CNN（预训练的VGG16）和LSTM，该模型接受所有类别的所有帧作为输入，并带有相应的标签（在上面的例子中，制作食物将是p1_rgb_frame1等的相应标签），x_train的最终形状是(9000,200,200,3)，其中9000对应于所有类别的所有帧，200是高度和宽度，3是图像的通道。我将这些数据重塑为(9000,1,200,200,3)，以便用作模型的输入。我担心我没有传递正确的时步，导致错误的训练，我有验证准确率约98%，但在用不同的数据集测试时，准确率要低得多。你能建议另一种更有效的方法吗？

  x = base_model.output  x = Flatten()(x)  features = Dense(64, activation='relu')(x)  conv_model = Model(inputs=base_model.input, outputs=features)      for layer in base_model.layers:      layer.trainable = False         model = Sequential()  model.add(TimeDistributed(conv_model, input_shape=(None,200,200,3)))  model.add(LSTM(32, return_sequences=True))  model.add(LSTM(16))

回答：

据我所见，你的模型结构本身并不明显有问题。关于不同数量的帧问题，解决方案就是不要这样做。预处理你的数据，使每个动作取相同数量的帧。

更深层次的问题更可能是简单的过拟合。你没有说明，但根据你提到将训练数据托管在一台电脑上的事实，我猜想你的训练数据不多，你的网络不是在学习活动，而只是在学习识别你的训练数据。考虑到VGG16有大约120万个不同的训练样本，并且在顶级GPU上训练了数周，只是为了区分1000类静态图像。可以说，学习时间方面和活动应该需要相似的训练数据量。你开始使用VGG作为基础并在此基础上添加是一个好主意，这样你的网络就不必重新学习静态图像识别特征，但你的网络需要学习的从静态图像到动态视频的概念飞跃仍然很大！