示例:我在工作描述中有这样一句:“英国的Java高级工程师”。
我想使用一个深度学习模型将其预测为两个类别:English
和IT jobs
。如果使用传统的分类模型,它只能在最后一层使用softmax
函数预测一个标签。因此,我可以使用两个神经网络模型来预测这两个类别的“是”/“否”,但如果类别更多,这样做成本太高。那么,有没有深度学习或机器学习模型可以同时预测两个或多个类别呢?
“编辑”:使用传统方法处理3个标签时,它们会被编码为[1,0,0],但在我的情况下,它们会被编码为[1,1,0]或[1,1,1]。
示例:如果我们有3个标签,并且一个句子可能符合所有这些标签。那么,如果softmax函数的输出是[0.45, 0.35, 0.2],我们应该将其分类为3个标签、2个标签,还是1个标签呢?
我们这样做时遇到的主要问题是:将一个句子分类为1个、2个或3个标签的合适阈值是多少?
回答:
如果您有n个可以同时为真的不同类别,请在输出层设置n个输出,并使用sigmoid激活函数。这将使每个输出独立地获得0到1之间的值。
您的损失函数应该是输出负对数似然的平均值。在TensorFlow中,这表示为:
linear_output = ... # 应用激活函数前的输出层
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits( logits=linear_output, labels=correct_outputs))
output = tf.sigmoid(linear_output) # 每个类别的0到1的值