我有一个多标签分类问题，其中每个目标都是由1和0组成的向量，这些标签不是互斥的（为了清楚起见，我的目标看起来像[0, 1, 0, 0, 1, 1, ...]）。
到目前为止，我的理解是：
-
我应该使用二元交叉熵函数。（如这个回答中所解释的）
-
此外，我了解到
tf.keras.losses.BinaryCrossentropy()是TensorFlow的sigmoid_cross_entropy_with_logits的封装。可以使用from_logits设置为True或False。（如这个问题中所解释的） -
由于
sigmoid_cross_entropy_with_logits本身执行sigmoid操作，它期望输入在[-inf,+inf]范围内。 -
当网络在最后一层实现了sigmoid激活时，
tf.keras.losses.BinaryCrossentropy()必须使用from_logits=False。它将推断sigmoid函数并将输出传递给sigmoid_cross_entropy_with_logits，后者将再次执行sigmoid操作。然而，这可能由于sigmoid/logit函数的渐近线引起数值问题。 -
为了提高数值稳定性，我们可以避免最后一层的sigmoid层，并使用
tf.keras.losses.BinaryCrossentropy(from_logits=False)
问题：
如果我们使用tf.keras.losses.BinaryCrossentropy(from_logits=False)，我应该使用什么目标？我需要将目标更改为独热编码向量吗？
我想在推理时应该对网络输出应用sigmoid激活。是否有办法添加一个仅在推理模式下激活而不在训练模式下激活的sigmoid层？
回答：
首先，让我对数值稳定性做一些说明：
如评论部分所提到的，使用from_logits=False时，数值不稳定性来自于将概率值转换回logits的过程，这涉及到剪切操作（如这个问题和它的回答中讨论的）。然而，据我所知，这不会为大多数实际应用造成任何严重问题（尽管，在某些情况下，在损失函数内部应用softmax/sigmoid函数，即使用from_logits=True，在计算梯度方面会更数值稳定；请参见这个回答以获得数学解释）。
换句话说，如果您不关心生成的概率值的精度小于1e-7的敏感性，或者在您的实验中观察到的相关收敛问题，那么您不必过于担心；只需像以前一样使用sigmoid和二元交叉熵，即model.compile(loss='binary_crossentropy', ...)，它会正常工作。
总的来说，如果您真的关心数值稳定性，您可以选择最安全的路径，使用from_logits=True，并且不在模型的最后一层使用任何激活函数。
现在，回答最初的问题，当使用BinaryCrossentropy(from_logits=True)时，真实标签或目标值（即y_true）仍然应该是0或1。相反，是y_pred（即模型的输出）在这种情况下不应该是概率分布（即，如果from_logits=True，则不应在最后一层使用sigmoid函数）。
