假设我想使用多层感知器对3个类别进行分类。对于输出神经元的数量，任何人都会立即说——使用3个输出神经元并应用softmax激活函数。但如果我使用2个输出神经元并使用sigmoid激活函数，输出[0,0]表示类别1，[0,1]表示类别2，[1,0]表示类别3呢？基本上是得到一个二进制编码的输出，每个输出神经元输出一个比特。这种技术不是能大大减少输出神经元（因此减少参数数量）吗？对于简单的NLP应用，一个100类词分类需要100个输出神经元用于softmax，而使用上述技术只需7个输出神经元就能覆盖。一个缺点是你不会得到所有类别的概率分数。我的问题是，这种方法正确吗？如果是的话，对于类别数量庞大的数据集，你认为它比使用softmax更有效吗？

回答：

你可以这样做，但随后你需要重新考虑你的损失函数。用于分类模型训练的交叉熵损失是类别分布的似然性，它假设你对每个类别都有一个概率。损失函数需要3个输出概率，而你只有2个输出值。

然而，还是有方法可以做到：你可以对输出的每个元素使用二元交叉熵损失，但这将是对模型的不同概率假设。你会假设你的类别有一些共同特征，例如[0,0]和[0,1]共享一个值。减少的自由度可能会使性能略有下降（但MLP的其他部分可能会弥补这一点）。

如果你真的担心最后一层的参数成本，那么你可能最好根本不训练它。这篇论文显示在最后一层使用固定的Hadamard矩阵与训练它一样有效。