我想将输入分类为三种可能性中的一种。使用三个各有一个输出的网络好，还是使用一个有三个输出的网络好？（例如，三个输出0或1的网络，或者一个输出长度为3的独热向量[1,0,0]的网络）

答案是否会根据待分类数据的复杂程度而变化？

在多少个输出时，分割网络是有意义的（如果有的话）？例如，如果我想分类到20个组中，会有区别吗？

回答：

我认为使用一个具有多个输出的单一网络会更有意义。

主要原因是隐藏层（我假设你至少会有一个隐藏层）可以被解释为将数据从原始空间（特征空间）转换到更适合任务的不同空间（在你的例子中是分类）。例如，当训练一个网络从原始像素识别面孔时，它可能会使用一个隐藏层首先基于像素检测简单的形状，如小线条，然后使用另一个隐藏层基于第一层的线条检测简单的形状，如眼睛/鼻子等。（这可能不完全像这个例子那样“干净”，但这是一个易于理解的例子）。

网络可以学习的这种转换通常对分类任务是有用的，无论具体的例子属于哪个类。例如，能够在图像中检测眼睛是很有用的，无论实际图像是否包含面孔；如果你确实检测到两个眼睛，你可以将其分类为面孔，否则你将其分类为不是面孔。在这两种情况下，你都在寻找眼睛。

因此，通过分成多个网络，你可能会在所有网络中学习到相当相似的模式。那么你还不如节省计算资源，只学习一次。

将网络分成多个的另一个缺点是你可能会导致数据集变得不平衡（或者如果它已经不平衡的话变得更加不平衡）。假设你有三个类，每个类占数据集的1/3。如果你使用三个网络进行三个二元分类任务，你突然总是有1/3的“1”类和2/3的“0”类。网络可能会因此偏向于到处预测0，因为在三个独立的问题中，这些是多数类。

请注意，这一切都是基于我的直觉；如果你有时间，最好的解决方案是简单地尝试两种方法并进行测试！不过，我从未见过有人在实践中为单一分类任务使用多个网络，所以如果你只有一次尝试的机会，我建议选择单一网络。

我认为唯一真正有意义使用多个网络的情况是，如果你实际上想要预测多个不相关的数值（或者至少是没有强相关性的数值）。例如，如果给定图像，你想1）预测图像上是否有狗，以及2）它是照片还是绘画。那么使用两个各有两个输出的网络可能比使用一个有四个输出的网络更好。