我在使用Keras构建语言模型时,希望使用困惑度(perplexity)作为损失函数。然而,当我尝试使用我的损失函数编译模型时,出现了值错误,提示损失函数未知。
我的损失函数如下所示:
def perplexity_loss(y_true, y_pred): """ 困惑度指标。为什么Keras还没有这个功能?! https://stackoverflow.com/questions/41881308/how-to-calculate-perplexity-of-rnn-in-tensorflow https://github.com/keras-team/keras/issues/8267 """ cross_entropy = keras.losses.SparseCategoricalCrossentropy(y_true, y_pred) perplexity = tf.keras.backend.exp(cross_entropy) return perplexity
这是我初始化模型的方式:
# 定义模型model = Sequential()model.add(Embedding(vocab_size, 500, input_length=max_length-1))model.add(LSTM(750))model.add(Dense(vocab_size, activation='softmax'))# 编译网络model.compile(loss='perplexity_loss', optimizer='adam', metrics=['accuracy'])# 训练网络model.fit(X, y, epochs=150, verbose=2)
我得到了以下错误:
ValueError: Unknown loss function:perplexity
回答:
错误的原因是您传递了一个字符串('perplexity_loss'
),而不是函数。以下方法应该可以解决问题:
model.compile(loss=perplexity_loss, optimizer='adam', metrics=['accuracy'])
请注意,当您再次加载模型时,需要使用以下方式:
from keras.models import load_modelmodel = load_model('my_model.h5', custom_objects={'perplexity_loss': perplexity_loss})