我正在努力更好地理解Keras的层。我正在处理一个序列到序列的模型，我嵌入一个句子并将其传递给一个返回序列的LSTM。此后，我想对句子中的每个时间步（单词）应用一个Dense层，看起来TimeDistributed可以处理这种三维张量的情况。
据我所知，Dense层只能处理二维张量，而TimeDistributed只是在三维中的每个时间步上应用相同的Dense层。那么，是否可以简单地将时间步展平，应用一个Dense层，然后进行重塑以获得相同的结果，或者这些方法在某些方面是不等价的，我是否遗漏了什么？
回答：
Dense层可以作用于任何张量，不一定是二阶的。我认为TimeDistributed包装器并不会改变Dense层的工作方式。直接对三阶张量应用Dense层会与应用TimeDistributed包装的Dense层完全相同。以下是说明：
from tensorflow.keras.layers import *from tensorflow.keras.models import *model = Sequential()model.add(Dense(5,input_shape=(50,10)))model.summary()_________________________________________________________________Layer (type) Output Shape Param # =================================================================dense_5 (Dense) (None, 50, 5) 55 =================================================================Total params: 55Trainable params: 55Non-trainable params: 0_________________________________________________________________
model1 = Sequential()model1.add(TimeDistributed(Dense(5),input_shape=(50,10)))model1.summary()_________________________________________________________________Layer (type) Output Shape Param # =================================================================time_distributed_3 (TimeDist (None, 50, 5) 55 =================================================================Total params: 55Trainable params: 55Non-trainable params: 0_________________________________________________________________
