Tensorflow: 用于分类概率分布的KL散度

我试图使用KL散度来计算我的网络的准确性。预测结果是一个k维的概率向量，需要与相同维度的标准概率分布进行比较。我尝试了以下方法：

corr_subj_test = tf.contrib.distributions.kl(pred_subj, y)accr_subj_test = tf.reduce_mean(corr_subj_test)

但最终得到了以下错误：

NotImplementedError: No KL(dist_a || dist_b) registered for dist_a type Tensor and dist_b type Tensor

回答：

查看了tensorflow的github以及其他一些出现相同NotImplementedError错误的Issue（如这个），似乎kl()方法目前不接受这种特定的参数类型组合。

如果可能的话，您可以将数据转换为kl()方法接受的数据类型（可能需要对数据进行转换）。

您也可以在tensorflow的issues上发布您的这个问题进行讨论。

** 编辑：

正如在这个问题的回答中所建议和解释的，您可以通过使用交叉熵来代替，并使用softmax_cross_entropy_with_logits方法来获得您想要的结果，如下所示：

newY = pred_subj/ycrossE = tf.nn.softmax_cross_entropy_with_logits(pred_subj, newY)accr_subj_test = tf.reduce_mean(-crossE)

学技术