我在Keras中创建了一个模型，并想计算自己的指标（困惑度）。这需要使用未归一化的概率/logits。然而，Keras模型只返回softmax概率：
model = Sequential()model.add(embedding_layer)model.add(LSTM(n_hidden, return_sequences=False))model.add(Dropout(dropout_keep_prob))model.add(Dense(vocab_size))model.add(Activation('softmax'))optimizer = RMSprop(lr=self.lr)model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy')Keras常见问题解答中提供了一种获取中间层输出的解决方案，在这里。另一个解决方案在这里提供，在这里。然而，这些答案将中间输出存储在一个不同的模型中，这不是我需要的。我想使用logits来计算我的自定义指标。自定义指标应该包含在model.compile()函数中，以便在训练过程中进行评估和显示。因此，我不需要将Dense层的输出分离到另一个模型中，而是作为我原始模型的一部分。
简而言之，我的疑问是：
-
当按照这里定义自定义指标时，使用
def custom_metric(y_true, y_pred)，y_pred包含的是logits还是归一化的概率？ -
如果它包含归一化的概率，我如何获取未归一化的概率，即
Dense层输出的logits？
回答：
我想我找到了一个解决方案
首先，我将激活层更改为线性，这样我就可以像@loannis Nasios提到的接收logits。
其次，为了仍然使用sparse_categorical_crossentropy作为损失函数，我定义了自己的损失函数，将from_logits参数设置为true。
model.add(embedding_layer)model.add(LSTM(n_hidden, return_sequences=False))model.add(Dropout(dropout_keep_prob))model.add(Dense(vocab_size))model.add(Activation('linear'))optimizer = RMSprop(lr=self.lr)def my_sparse_categorical_crossentropy(y_true, y_pred): return K.sparse_categorical_crossentropy(y_true, y_pred, from_logits=True)model.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy)