我正在训练一个全连接神经网络来对MNIST数据集进行分类。输出层中最活跃的神经元的索引定义了网络输出（从0到9的数字）。

我想使用tanh()激活函数（仅用于学习目的）。

将图像标签表示为向量（用于生成将被反向传播的错误向量）的正确方法是什么？

对于sigmoid()激活函数，这个向量可以是只有分类数字位置为1的零向量。这是否意味着对于tanh()，应该使用-1代替0（基于函数的范围）？有什么通用的指导原则吗？

回答：

如果在这种情况下你必须使用tanh，是的，你需要将图像标签设置为-1或1。这样，正确的数字将被推向正无穷大，而错误的数字将被推向负无穷大。

一般来说，我建议使用softmax。它们的区别在这里有详细解释。（tanh仅仅是sigmoid*2-1）。虽然sigmoid用于二元分类问题（这是‘7’还是不是），softmax用于多类分类（这最可能是哪个数字）。区别在于softmax代表了所有输出上的概率分布（如果我非常确定这是‘1’，那么它是‘3’或‘4’或其他数字的概率就较低），而多个独立的sigmoid则不考虑这一点。

在这种情况下，由于你的输出是一个独热向量，每个数字的值肯定是相互关联的（即‘1’的高响应应该抑制其他响应）。使用softmax将使训练更加稳定，并获得更好的结果。