我在使用Keras和Tensorflow构建的LSTM模型中得到了loss: nan的值。

我尝试降低学习率，但仍然得到nan值，并且总体准确率也在下降。我还使用了np.any(np.isnan(x_train))来检查是否是我自己引入了nan值（没有发现nan值）。我还阅读了关于梯度爆炸的资料，但似乎找不到解决我特定问题的办法。

我认为我对问题可能出在哪里有了一些想法，但还不太确定。这是构建x_train的过程示例：

a = [[1,0,..0], [0,1,..0], [0,0,..1]]a.shape() # (3, 20)b = [[0,0,..1], [0,1,..0], [1,0,..0], [0,1,..0]]b.shape() # (4, 20)

为了确保形状相同，我向a添加了一个向量[0,0,..0]（全为零），这样a的形状现在变为(4,20)。

将a和b合并后得到一个3D数组，形状为(2,4,20)，这就形成了x_train。但我认为添加这些全零向量的原因可能导致了在训练模型时出现loss: nan。这是我可能出错的地方吗？

注意：a+b是一个numpy数组，我的实际x_train.shape是(1228, 1452, 20)

•编辑• 以下添加了model.summary()：

x_train shape: (1228, 1452, 20)y_train shape: (1228, 1452, 8)x_val shape: (223, 1452, 20)x_val shape: (223, 1452, 8)Model: "sequential"_________________________________________________________________Layer (type)                 Output Shape              Param #   =================================================================unified_lstm (UnifiedLSTM)   (None, 1452, 128)         76288     _________________________________________________________________batch_normalization_v2 (Batc (None, 1452, 128)         512       _________________________________________________________________unified_lstm_1 (UnifiedLSTM) (None, 1452, 128)         131584    _________________________________________________________________batch_normalization_v2_1 (Ba (None, 1452, 128)         512       _________________________________________________________________dense (Dense)                (None, 1452, 32)          4128      _________________________________________________________________dense_1 (Dense)              (None, 1452, 8)           264       =================================================================Total params: 213,288Trainable params: 212,776Non-trainable params: 512

NaN值的截图如下：

回答：

解决方案是使用Keras中可用的Masking()层，并设置mask_value=0。这是因为在使用空向量时，它们会被计算到损失中，通过使用Masking()，如Keras所述，填充向量会被跳过且不包括在内。

根据Keras文档：

‘如果给定样本时间步的所有特征都等于mask_value，那么该样本时间步将在所有下游层中被掩盖（跳过）（只要它们支持掩盖）‘