TensorFlow称softmax的每个输入为logit。他们进一步定义softmax的输入/输出为:“未缩放的对数概率。”
维基百科和其他来源表示,logit是对数几率的对数,并且是sigmoid/逻辑函数的逆函数。即,如果sigmoid(x) = p(x),那么logit( p(x) ) = log( p(x) / (1-p(x)) ) = x。
TensorFlow将softmax的输入称为“logits”是否有数学或惯例上的理由?它们不应该仅仅被称为“未缩放的对数概率”吗?
也许TensorFlow只是想在二元逻辑回归(在此使用logit一词是有意义的)和类别逻辑回归中保持相同的变量名称…
这个问题在这里有过一些讨论,但似乎没有人对使用“logit”一词来表示“未缩放的对数概率”感到困扰。
回答:
如今,在机器学习社区中,logit被用于任何未归一化的概率分布(基本上是任何通过无参数变换映射到概率分布的东西,如二元变量的sigmoid函数或多项式变量的softmax)。这不是一个严格的数学术语,但已经足够流行,以至于被纳入TensorFlow的文档中。