我对神经网络的损失函数感到困惑。对于二元分类问题，是否如以下视频中所描述的是均方误差：https://www.youtube.com/watch?v=5u0jaA3qAGk&t=59s，还是如这里定义的交叉熵：http://work.caltech.edu/slides/slides09.pdf，为什么？

此外，在多类分类的情况下，我认为有类似于 softmax 的东西，但我并不真正了解它是如何工作的。有人能向我详细解释吗？

谢谢！

回答：

理论上，你可以使用任何损失函数来构建神经网络。你可以使用均方误差或交叉熵损失函数。关键在于哪种方法最有效。这里的“最有效”是指：哪种方法能更快、更准确地学习参数。

实际上，大多数神经网络倾向于使用交叉熵。许多初学者课程和神经网络教程会展示均方误差，因为它可能更直观且更容易初步理解。

这篇文章对此进行了更详细的解释，让我引用其中的一段：

我们什么时候应该使用交叉熵而不是二次成本？事实上，只要输出神经元是 sigmoid 神经元，交叉熵几乎总是更好的选择

关于 softmax 函数。正如你可能知道的，每个神经元都会有一个激活函数。通常这个函数是 sigmoid 函数。softmax 函数是另一种类型的激活函数，通常用于神经网络的最后一层。softmax 函数有一个独特的属性。它的输出值在 0 到 1 之间，并且该层中所有神经元的输出总和等于 1。这实际上表示了一个概率。这使得它非常适合多类分类，因为它会为每个类别提供一个概率，你可以选择概率最高的类别。