当我使用keras的binary_crossentropy作为损失函数（它调用了tensorflow的sigmoid_cross_entropy）时，似乎只产生[0, 1]之间的损失值。然而，公式本身

# 上述的逻辑损失公式是#   x - x * z + log(1 + exp(-x))# 对于x < 0，更为数值稳定的公式是#   -x * z + log(1 + exp(x))# 注意，这两个表达式可以合并为以下形式：#   max(x, 0) - x * z + log(1 + exp(-abs(x)))# 为了在零处计算梯度，我们定义了max和# abs函数的自定义版本。zeros = array_ops.zeros_like(logits, dtype=logits.dtype)cond = (logits >= zeros)relu_logits = array_ops.where(cond, logits, zeros)neg_abs_logits = array_ops.where(cond, -logits, logits)return math_ops.add(    relu_logits - logits * labels,    math_ops.log1p(math_ops.exp(neg_abs_logits)), name=name)

表明其范围是从[0, infinity)。那么Tensorflow是否在做某种我没有察觉到的裁剪呢？此外，由于它使用了math_ops.add()，我认为结果肯定会大于1。我是否可以确定损失范围肯定会超过1？

回答：

交叉熵函数确实没有上限。然而，只有当预测非常错误时，它才会取很大值。让我们先看看随机初始化的网络的行为。

在随机权重下，许多单元/层通常会复合，导致网络输出近似均匀的预测。也就是说，在一个有n个类别的分类问题中，你会得到每个类别大约1/n的概率（在两类的情况下为0.5）。在这种情况下，交叉熵将大约是n类均匀分布的熵，即log(n)，在某些假设下（见下文）。

可以这样理解：单个数据点的交叉熵是-sum(p(k)*log(q(k)))，其中p是真实概率（标签），q是预测，k是不同的类别，总和是所有类别的总和。现在，使用硬标签（即one-hot编码）时，只有一个p(k)是1，其余都是0。因此，该项简化为-log(q(k))，其中k现在是正确类别。如果使用随机初始化的网络q(k) ~ 1/n，我们得到-log(1/n) = log(n)。

我们也可以从交叉熵的一般定义出发，即entropy(p) + kullback-leibler divergence(p,q)。如果p和q是相同的分布（例如，当每个类别的示例数相同，p是均匀分布，而q对于随机网络接近均匀分布），那么KL散度变为0，我们剩下entropy(p)。

现在，由于训练目标通常是减少交叉熵，我们可以将log(n)视为一种最坏情况的值。如果它变得更高，可能你的模型出了问题。由于看起来你只有两个类别（0和1），log(2) < 1，因此你的交叉熵通常会相当小。