为什么TensorFlow的文档将softmax的输入称为“logits”?

TensorFlow称softmax的每个输入为logit。他们进一步定义softmax的输入/输出为:“未缩放的对数概率。”

维基百科和其他来源表示,logit是对数几率的对数,并且是sigmoid/逻辑函数的逆函数。即,如果sigmoid(x) = p(x),那么logit( p(x) ) = log( p(x) / (1-p(x)) ) = x。

TensorFlow将softmax的输入称为“logits”是否有数学或惯例上的理由?它们不应该仅仅被称为“未缩放的对数概率”吗?

也许TensorFlow只是想在二元逻辑回归(在此使用logit一词是有意义的)和类别逻辑回归中保持相同的变量名称…

这个问题在这里有过一些讨论,但似乎没有人对使用“logit”一词来表示“未缩放的对数概率”感到困扰。


回答:

如今,在机器学习社区中,logit被用于任何未归一化的概率分布(基本上是任何通过无参数变换映射到概率分布的东西,如二元变量的sigmoid函数或多项式变量的softmax)。这不是一个严格的数学术语,但已经足够流行,以至于被纳入TensorFlow的文档中。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注