Keras的Conv3D期望输入为5D tensor with shape: (batch, conv_dim1, conv_dim2, conv_dim3, channels)（假设data_format为”channels_last”）。假设我的滤波器大小为(3,3,3)，我的输入为(10,125,300,200,3)，这是一个包含10个视频的数据集，每个视频有125帧，空间尺寸为300×200，且由于帧为RGB，所以通道数为3。默认步长值为(1, 1, 1)。我脑海中对这种卷积工作方式的想象如这里的9:28所示。

我无法弄清楚的是，时间维度上的步长1是一次移动一帧还是一次移动一帧的一个通道。我试图查找conv3D的代码这里，但没能获取太多信息。我尝试使用3D CNN和RGB视频训练深度学习网络，结果图像的颜色出现混乱（几乎是灰色），所以我假设颜色通道有些问题。我检查了输入，似乎没有问题，所以可能是网络的问题。

简而言之

需要弄清楚RGB视频是否需要在步长上进行有意识的更改，以便一个帧的通道被视为2D卷积处理，同时也希望能得到关于RGB视频和3D CNN的代码/论文的指导

回答：

在所有卷积中，滤波器大小涵盖了所有通道。通道不参与步长计算。

因此，步长就像你的视频是一个立方体一样进行。在每个维度（x,y,z）上一步步长，直到扫描整个立方体。（卷积不知道维度的具体含义，不会像对待像素那样对待帧）。

你有一个小小的3x3x3立方体扫描一个巨大的125x300x200平行六面体，像素一个一个，帧一帧。所以：步长一次移动一帧，但只考虑图像的一个3×3片段。

这对于视频来说似乎不太好（但机器学习总有惊喜），除非在某个点上你的分辨率非常小，以至于一个滤波器开始看到每帧的全貌。

你可以继续测试3D卷积看看会发生什么，但一些看似更好的建议是：

• 使用TimeDistributed(Conv2D(...))和TimeDistributed(MaxPooling2D(...))直到模型中间得到一个小分辨率的视频（甚至是1×1，如果你走极端）。然后开始使用：

  • Conv3D如果仍然有空间维度
  • Conv1D如果你消除了空间维度
  • 在两种情况下，增加帧维度的内核大小是个好主意，3帧可能不足以解释正在发生的事情（除非你的帧率很低）

• 使用TimeDistributed(Conv2D(...))，在某个点消除空间维度并开始使用RNN如LSTM

• 使用ConvLSTM2D层。