当然，没有人能在用于图像识别和分类的神经网络中包含所有可能的图像输出。所以，如果我创建了一个神经网络，它接受数组输入并输出是鸟还是不是鸟，我能在完成第一个网络的训练后添加更多输出以处理更多图像吗？还是这样做会导致学习效果消失？

所以，我先添加固定数量的输入和一个输出，然后再添加一个，再添加一个，这样做可行吗？

回答：

重新训练

如果你有足够的资源，重新训练（或者更具体地说，从头开始训练）你的网络是个不错的选择。但请继续阅读以下方法，你可能会获得更好的结果（至少成本更低）。

迁移学习

但是，如果你使用的是那些需要数周时间在昂贵硬件上训练的大型流行神经网络，可能有办法触及迁移学习的概念。

至少有两种不同的方法：

使用预训练的神经网络作为特征提取器

在这里，你将移除最终的全连接层，只使用训练好的神经网络从你的图像中提取一些特征。然后，你可以在你的新数据集上构建一个全新的分类器，将旧神经网络的输出（特征输入）映射到类别（新的softmax神经网络或SVM/核SVM或其他任何东西）。如果我们假设你的预训练神经网络质量很高，并且你的新类别与已学习的类别不太不同，这种方法听起来相当稳健。

一般来说，如果你的新类别和数据集较小且与原始数据集相似，这种方法可能是优选的。

如果新数据与原始数据不太相似，可以使用更早期层的一些特征（更通用）。

继续训练

在这里，你将继续训练原始神经网络的权重，可能保持前几层（甚至可能是除了最终全连接层之外的所有层）。如上所述，一般想法是我们假设一个好的神经网络在前几层非常通用（提取特征），而在最后几层更具体。

如果你的新类别有大量数据，这种方法应该是优选的。根据相似性，你可以选择继续重新训练所有权重，或者如果非常相似，固定一些层权重（前几层）。

这里可能会有一些技术问题需要解决以实现这种方法（如不同图像尺寸的输入和其他问题）。因此，如果原始神经网络的一些约束被打破，需要做一些工作。调整学习的超参数也很重要（可能学习率应该更低！）。