我看到很多关于CEL（交叉熵损失）或二元交叉熵损失的解释，这些解释通常是在真实值为0或1的情况下进行的，然后你会得到一个这样的函数：

def CrossEntropy(yHat, y):    if yHat == 1:      return -log(y)    else:      return -log(1 - y)

然而，当你的yHat不是离散的0或1时，我对BCE（二元交叉熵）的工作原理感到困惑。例如，如果我想查看MNIST数字的重构损失，其中我的真实值是0 < yHat < 1，我的预测也在这个范围内，这会如何改变我的函数？

编辑：

抱歉，让我提供更多关于我困惑的背景。在PyTorch关于变分自编码器（VAEs）的教程中，他们使用BCE来计算重构损失，其中yhat（据我所知，不是离散的）。参见：

https://github.com/pytorch/examples/blob/master/vae/main.py

这个实现是有效的……但我不明白在这种情况下是如何计算BCE损失的。

回答：

交叉熵测量任意两个概率分布之间的距离。在你描述的（变分自编码器）中，MNIST图像的像素被解释为像素“开/关”的概率。在这种情况下，你的目标概率分布不是一个dirac分布（0或1），而是可以有不同的值。参见维基百科上关于交叉熵的定义。

以上作为参考，假设你的模型输出某像素的重构值为0.7。这实质上是说你的模型估计p(像素=1) = 0.7，因此p(像素=0) = 0.3。
如果目标像素只是0或1，那么这个像素的交叉熵要么是-log(0.3)（如果真实像素是0），要么是-log(0.7）（一个较小的值，如果真实像素是1）。
完整的公式将是-(0*log(0.3) + 1*log(0.7))如果真实像素是1，或者-(1*log(0.3) + 0*log(0.7))否则。

假设你的目标像素实际上是0.6！这实质上是说像素有0.6的概率是开的，0.4的概率是关的。
这只是将交叉熵计算改为-(0.4*log(0.3) + 0.6*log(0.7))。

最后，你可以简单地对图像上的这些每像素交叉熵进行平均/求和。