我有一个涉及17个类别的深度学习分类问题，并且我在使用Pytorch进行工作。架构中包括在线性层之后实现的交叉熵损失函数。

我认为，通常情况下，人们会计算Softmax激活并将其解释为对应输出类别的概率。但Softmax是一个单调函数，似乎如果我只想要最可能的类，我可以简单地选择线性层之后得分最高的类，而不使用Softmax。

考虑到Softmax是分类问题中默认的、广泛使用的激活函数，我怀疑自己是否遗漏了什么重要的东西。有人能指导我吗？

请注意，我已经搜索了大量网站，但据我所知，没有一个网站回答这个基本问题（虽然提供了很多信息）。

谢谢

回答：

你说的没错，你不需要Softmax来预测最可能的类 – 你确实可以只选择得分最高的类。

然而，在训练时你需要Softmax来计算损失函数（交叉熵），因为它只在类别的概率分布上有效。Softmax变换保证了你的网络输出确实看起来像一个分布：所有得分都是正的，并且它们的总和为1。如果它们不是正的，你就无法计算交叉熵，因为它涉及对数。如果得分的总和不为1（或任何其他常数），那么模型可以通过使所有得分无限大来最小化损失，而实际上并没有学到任何有用的东西。

此外，在预测时Softmax也可能有用，因为当你报告概率而不是只是得分时，你可以将其解释为置信度：例如，模型对其预测的置信度为98%。

在某些情况下，你感兴趣的并不是最可能的类。例如，如果你在进行信用评分，那么即使违约的概率很低（例如20%）也可能足够高以拒绝贷款申请。在这种情况下，你想要查看的不是最可能的类，而是概率本身 – 而Softmax有助于正确估计它们。