深度学习文献通常假设所有训练数据都有相关联的真实标签（GT），但在我正在进行的项目中，我有许多（实验性）样本没有真实标签。然而，我认为将这些样本包含在训练中可能会非常有用，因为它们对网络的正则化部分的贡献有助于使其更加健壮/可推广。这主要是因为它们是极端但有效的情况，并且它们在输入神经网络时的行为是重要的信息。

我正在使用Tensorflow 2/Keras。这是一个回归问题，所以假设我使用类似MSE的损失函数。

我想知道在model.compile(loss=my_loss)中如何有效地将这些情况的贡献在my_loss损失函数中归零，同时允许任何层的activity_regularizer的贡献成为“全局”损失函数的一部分。

我在考虑添加一个权重向量作为输入，其中每个样本被标记是否有GT，但计算这些样本的损失然后乘以零似乎是浪费的，尽管这可能比过滤它们更有效率。

我想知道是否有其他人遇到过类似的情况，并实施了什么样的解决方案。

回答：

这听起来更像是半监督学习的问题。此外，我不知道“…但它们在正则化方面会非常出色”这一想法是否真的正确；然而，在实现方面是可以做到的。

例如，假设你的模型是一个二元分类器，输出层是一个1单位的sigmoid层。因此，你可以为没有标签的样本分配一个超出范围的标签（如-1），然后编写一个自定义损失函数，在计算损失时忽略它们：

或者，一个更简单的选项是使用fit的sample_weight参数提供样本权重，即你可以为没有标签的样本使用零的样本权重（只需为它们提供一个虚假标签），并为有标签的样本使用1的样本权重：

model.fit(data, labels, ..., sample_weight=sample_weight)

然而，我不完全确定样本权重是否不会被用于Keras/TF中的其他依赖输入的损失，如活动正则化。