哪种深度学习模型可以对非互斥的类别进行分类

示例:我在工作描述中有这样一句:“英国的Java高级工程师”。

我想使用一个深度学习模型将其预测为两个类别:EnglishIT jobs。如果使用传统的分类模型,它只能在最后一层使用softmax函数预测一个标签。因此,我可以使用两个神经网络模型来预测这两个类别的“是”/“否”,但如果类别更多,这样做成本太高。那么,有没有深度学习或机器学习模型可以同时预测两个或多个类别呢?

“编辑”:使用传统方法处理3个标签时,它们会被编码为[1,0,0],但在我的情况下,它们会被编码为[1,1,0]或[1,1,1]。

示例:如果我们有3个标签,并且一个句子可能符合所有这些标签。那么,如果softmax函数的输出是[0.45, 0.35, 0.2],我们应该将其分类为3个标签、2个标签,还是1个标签呢?

我们这样做时遇到的主要问题是:将一个句子分类为1个、2个或3个标签的合适阈值是多少?


回答:

如果您有n个可以同时为真的不同类别,请在输出层设置n个输出,并使用sigmoid激活函数。这将使每个输出独立地获得0到1之间的值。

您的损失函数应该是输出负对数似然的平均值。在TensorFlow中,这表示为:

linear_output = ...  # 应用激活函数前的输出层
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(    logits=linear_output, labels=correct_outputs))
output = tf.sigmoid(linear_output)  # 每个类别的0到1的值

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注