我有一个用于多分类问题的LSTM模型。在训练过程中，准确率实际上达到了1.00，但仍然返回了较小的损失值。这意味着什么？所有目标都被正确预测了。为什么损失值不能为零？

adadelta = Adadelta(clipnorm=1.)
model.compile(optimizer=adadelta,
              loss='categorical_crossentropy',
              sample_weight_mode='temporal',
              metrics=['accuracy'])

损失值如下所示。

Epoch 12/12
1000/1000 [==============================] - 38s - loss: 1.2053e-04 - acc: 1.0000    

回答：

网络正在优化损失。在你的情况下，损失是分类交叉熵。分类交叉熵衡量的是正确概率的对数值。

对于一个样本的计算过程如下：你的网络预测得到y_pred，而y_true是真实目标值：y_true是二进制的，因为你想要预测它是否属于某个类别，而y_pred是一个介于0和1之间的浮点数，可以解释为属于该类别的概率。

单个样本的公式为：

loss_sample = y_true * ln(y_pred) + (1-y_true) * ln(1-y_pred)

因此，如果y_true为1（样本属于该类别），那么loss_sample = ln(y_pred)；如果y_true为0，那么loss_sample = ln(1-y_pred)。这有道理，因为如果y_true为1，你希望损失尽可能小，所以你希望y_pred为1。如果y_true为0，你的损失会随着1-y_pred接近1而减小，也就是说y_pred接近0。

至于准确率，如果所有样本属于正确类别的概率超过0.5阈值，那么准确率将等于1。

这意味着，如果你的训练集有3个样本和目标y1 = 1，y2 = 0，y3 = 1，你预测y1_hat = 0.6，y2_hat = 0.2，y3_hat = 0.9。那么你的准确率将是100%，但你的损失将是loss = ln(0.6) + ln(1-0.2) + ln(0.9)，这不是零。

总结：你预测的是属于某个类别的概率，损失计算的是正确性的置信度，而准确率只是基于预测做出的决策，不考虑置信度。

你可以拥有完美的准确率分数，因为你的网络做出了正确的决策，但损失值为正数，因为你的网络对结果不是完全自信。

这样更清楚了吗？