我有一个具有5个输入的LSTM网络。第一个输入的典型值在1000到3000之间。其余输入的值在-1到1之间。

我想在第一层插入BatchNormalization。但第2到第5个输入已经在-1到1之间，而第一个输入的值远大于这些输入。因此，我希望仅对第一个输入应用批量归一化，而将第2到第5个输入保持不变。然后，第一个（归一化后的）输入和第2到第5个输入应传递给LSTM层。

      +----+   +---+ 1 -->| BN |-->|   |      +----+   | L | 2 ----------->| S | 3 ----------->| T | 4 ----------->| M |  5 ----------->|   |               +---+

如何在Keras中实现这一点？

我想我可以为第一个输入创建一个仅包含BatchNormalization的模型层，然后将其与其余层连接起来。但我不确定具体如何操作。

回答：

尝试以下定义：

from keras.layers.merge import concatenateinput_tensor = Input(shape=(timesteps, 5)) # 现在让我们分割张量split_1 = Lambda(lambda x: x[:, :, :1])(input_tensor)split_2 = Lambda(lambda x: x[:, :, 1:])(input_tensor)split_1 = BatchNormalization()(split_1)# 现在让我们再次将它们连接起来follow = concatenate([split_1, split_2])

但正如Daniel在评论中提到的 – 为了处理这种不一致性，最好对数据进行归一化 – 使用BatchNormalization可能会导致性能变差。