我正在尝试构建一个神经网络，假设我有3个输出标签（A、B、C）。
现在我的数据由行组成，其中2个标签可以是1。例如，A和B是1，而C是0。现在我想训练我的神经网络，使其能够预测A或B。我不希望它被训练成对A和B都有高概率（就像多标签问题那样），我只想要它们中的一个。
这样做的原因是，A和B都为1的行更像是无关紧要的行，预测A或B都是正确的。所以我不希望神经网络找到一个最小值，使其试图预测A和B。
这样训练神经网络是否可行？
回答：
我认为使用权重是为你的应用想出的最佳方法。
为每个样本定义一个权重w，如果A = 1且B = 1，则w = 0，否则w = 1。现在，定义你的损失函数如下：
w * (CE(A) +CE(B)) + w' * min(CE(A), CE(B)) + CE(C)其中CE(A)表示标签A的交叉熵损失。w'表示w的补数。这个损失函数很容易理解。当A和B都不是1时，它会尝试正确预测A和B。否则，它将正确预测A或B。请记住，A和B中哪一个会被正确预测是无法提前知道的。并且，这在批次之间可能不一致。模型将始终尝试正确预测类别C。
如果你使用自己的权重来表示样本的重要性，那么你应该将整个上述表达式乘以那个权重。
然而，如果你使用经典的多标签损失函数，得到相似的（甚至更好）的性能，我不会感到惊讶。假设每个标签的比例相等，那么只有在八分之一的情况下，你才允许网络预测A或B。否则，网络必须正确预测所有三个标签。通常，较简单的损失函数效果更好。
