我在Keras中有一个小型神经网络:

contextTrain, contextTest, utteranceTrain, utteranceTest = train_test_split(context, utterance, test_size=0.1, random_state=1)model = Sequential()model.add(LSTM(input_shape=contextTrain.shape[1:], return_sequences=True, units=300, activation="sigmoid", kernel_initializer="glorot_normal", recurrent_initializer="glorot_normal"))model.add(LSTM(return_sequences=True, units=300, activation="sigmoid", kernel_initializer="glorot_normal", recurrent_initializer="glorot_normal"))model.compile(loss="cosine_proximity", optimizer="adam", metrics=["accuracy"])model.fit(contextTrain, utteranceTrain, epochs=5000, validation_data=(contextTest, utteranceTest), callbacks=[ModelCheckpoint("model{epoch:02d}.h5", monitor='val_acc', save_best_only=True, mode='max')])

上下文和话语是形状为例如(100, 15, 300)的numpy数组。第一个LSTM的输入形状应该是(15, 300)。

我不知道发生了什么，但突然间训练过程中打印出了负的损失和验证损失。之前它们通常是正值（约0.18左右）。

Train on 90 samples, validate on 10 samplesEpoch 1/5000 90/90 [==============================] - 5s 52ms/step - loss: -0.4729 - acc: 0.0059 - val_loss: -0.4405 - val_acc: 0.0133Epoch 2/5000 90/90 [==============================] - 2s 18ms/step - loss: -0.5091 - acc: 0.0089 - val_loss: -0.4658 - val_acc: 0.0133Epoch 3/5000 90/90 [==============================] - 2s 18ms/step - loss: -0.5204 - acc: 0.0170 - val_loss: -0.4829 - val_acc: 0.0200Epoch 4/5000 90/90 [==============================] - 2s 20ms/step - loss: -0.5296 - acc: 0.0244 - val_loss: -0.4949 - val_acc: 0.0333Epoch 5/5000 90/90 [==============================] - 2s 20ms/step - loss: -0.5370 - acc: 0.0422 - val_loss: -0.5021 - val_acc: 0.0400

这意味着什么？可能的原因是什么？

回答：

你的损失函数cosine_proximity确实可以取负值；根据Keras的创建者Francois Chollet的说法，它通常会是负值（GitHub评论）:

损失只是一个你试图最小化的标量。它不应该是正值！例如，余弦接近度损失通常会是负值（通过最小化一个负标量来使接近度尽可能高）。

这里是另一个使用余弦接近度的例子，其中值也是负的。