我正在尝试训练一个CNN-LSTM模型，我的样本图像尺寸为640×640。
我有一块GTX 1080 ti 11GB显卡。
我使用的是Keras和TensorFlow后端。
这是我的模型代码。
img_input_1 = Input(shape=(1, n_width, n_height, n_channels))conv_1 = TimeDistributed(Conv2D(96, (11,11), activation='relu', padding='same'))(img_input_1)pool_1 = TimeDistributed(MaxPooling2D((3,3)))(conv_1)conv_2 = TimeDistributed(Conv2D(128, (11,11), activation='relu', padding='same'))(pool_1)flat_1 = TimeDistributed(Flatten())(conv_2)dense_1 = TimeDistributed(Dense(4096, activation='relu'))(flat_1)drop_1 = TimeDistributed(Dropout(0.5))(dense_1)lstm_1 = LSTM(17, activation='linear')(drop_1)dense_2 = Dense(4096, activation='relu')(lstm_1)dense_output_2 = Dense(1, activation='sigmoid')(dense_2)model = Model(inputs=img_input_1, outputs=dense_output_2)op = optimizers.Adam(lr=0.00001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.001)model.compile(loss='mean_absolute_error', optimizer=op, metrics=['accuracy'])model.fit(X, Y, epochs=3, batch_size=1)目前使用这个模型，我只能在图像调整到60×60时使用训练数据，任何更大的尺寸都会导致GPU内存不足。
我想使用尽可能大的尺寸，以便保留尽可能多的判别信息。（y标签将是鼠标屏幕坐标，范围在0到640之间）
在众多建议中，我找到了这个答案：https://ai.stackexchange.com/questions/3938/how-to-handle-images-of-large-sizes-in-cnn
虽然我不知道如何“限制你的CNN”或“在每个epoch中流式传输数据”，也不确定这些方法是否有帮助。
我如何减少内存使用，以便增加图像尺寸？
是否有可能牺牲训练时间/计算速度，以换取更高分辨率的数据，同时保持模型的有效性？
注意：上述模型不是最终版本，只是基本布局。
回答：
你的Dense层可能导致训练过载。为了提供一些背景，让我们假设你使用的是640x640x3的图像尺寸。同时，我们暂时忽略LSTM层，假设这是一个非时间序列任务（当然，作为时间序列问题，复杂性会更高）。
以下是输出尺寸：
Conv1->640x640x96Maxpool1->210x210x96（约）Conv2->210x210x128
现在到了瓶颈。你接下来使用flatten()展平输出，并将其发送到Dense层。这个Dense层有210x210x128x4096个参数（即23,121,100,800）。假设使用32-bit精度，你的Dense层将占用大约86GB（我希望我的计算是正确的，但可以保证这不是一个小数目）。
因此，你有几个选择：
- 首先也是最明显的，减少
Dense层的大小。 - 减小小批次的尺寸。
- 减少
Conv层的通道深度。 - 你可能需要考虑是否真的需要
640x640x3的输入尺寸。根据你的目标，你可能可以用更小的图像来实现。
