我有一个问题需要使用LSTM的多对一架构,即先输入19个图像帧,然后输出一个结果。
图像帧的大小为(128,128,3)。
我已经尝试了好几天,但始终找不到答案,LSTM的input_shape应该是什么?
我认为由于图像帧的大小是128*128*3,因此输入层的单元数应该是49152。目前的代码如下所示:
timesteps = 19data_dim = 128*128*3model = Sequential()model.add(LSTM(data_dim,input_shape=(timesteps, data_dim)))model.add(Dense(10))optimizer = 'sgd'momentum=0.6decay=0.0005nesterov=Trueoptimizer = SGD(lr=lr, momentum=momentum, decay=decay, nesterov=nesterov)model.compile(loss='categorical_crossentropy', optimizer=optimizer)
编译后此代码会出现内存错误。
这是由于input_shape和其他LSTM参数的错误,还是由于我的计算机硬件问题?
回答:
这肯定是你的架构问题。尝试减少LSTM单元数,data_dim
太大了。
考虑到你的输入也是data_dim
,这将导致超过4*49152*49152 = 9,663,676,416个权重(不包括偏置)。
model.add(LSTM(less_units, input_shape=(timesteps,data_dim)))
一系列图像:
model.add(TimeDistributed(Conv2D(output_filters,kernel_size,...), input_shape=(timesteps,x,y,channels))model.add(TimeDistributed(Flatten()))model.add(LSTM(output_dim,...))