我正在使用Keras训练一个三层神经网络:
model = models.Sequential() model.add(Conv2D(32, (3, 3), padding="same", input_shape=input_shape, strides=2, kernel_regularizer=l2(reg))) model.add(BatchNormalization(axis=channels)) model.add(Activation("relu")) model.add(Conv2D(64, (3, 3), padding="same", input_shape=input_shape, strides=2, kernel_regularizer=l2(reg))) model.add(BatchNormalization(axis=channels)) model.add(Activation("relu")) model.add(Conv2D(128, (3, 3), padding="same", input_shape=input_shape, strides=2, kernel_regularizer=l2(reg))) model.add(BatchNormalization(axis=channels)) model.add(Activation("relu")) model.add(layers.Flatten()) model.add(layers.Dense(neurons, activation='relu', kernel_regularizer=l2(reg))) model.add(Dropout(0.50)) model.add(Dense(2)) model.add(Activation("softmax"))我的数据有两个类别，我使用的是稀疏分类交叉熵:
model.compile(loss='sparse_categorical_crossentropy', optimizer=opt, metrics=['accuracy']) history = model.fit(x=X, y=y, batch_size=batch_size, epochs=epochs, validation_data=(X_val, y_val), shuffle=True, callbacks=callbacks, verbose=1)我的数据具有以下形状:
X: (232, 100, 150, 3)
y: (232,)
其中X是图像，y是1或0，因为使用了稀疏损失函数
即使训练准确率达到1，损失值在准确率和验证集上都非常高！我得到的损失值超过20，我认为这是不合理的。
如果我设置模型尝试几轮，并输出标签和真实值的预测结果，然后从中计算分类交叉熵，我得到的值小于1，这符合预期，即使我使用Keras的函数进行计算（我改用分类，因为稀疏会出错）
21/21 [==============================] - 7s 313ms/step - loss: 44.1764 - acc: 1.0000 - val_loss: 44.7084 - val_acc: 0.7857 cce = tf.keras.losses.CategoricalCrossentropy() pred = model.predict(x=X_val, batch_size=len(X_val)) loss = cce(true_categorical, pred) Categorical loss 0.6077293753623962有办法知道这是如何计算的以及为什么值这么高吗？批量大小是8。
回答：
Keras输出的损失是总损失。正则化也是损失，它基于权重的值添加到模型中。
由于你有很多权重，对总损失的贡献也很多。
这就是为什么损失值很大。如果你移除正则化，你会看到最终损失等于分类交叉熵损失。
