我有一个已经在某个数据集上训练过的神经网络。假设最初的数据集有10,000个数据点,现在又增加了100个数据点。我的神经网络是否有办法学习整个(更新后的)数据集,而不需要从头开始训练?此外,这里是否适用灾难性遗忘(catastrophic interference)?我知道当神经网络尝试学习“新信息”时,灾难性遗忘是适用的,但我不知道“由于插入而更新的信息”是否算作“新信息”。
回答:
确实,不幸的是灾难性遗忘(或遗忘)在你的情况下是适用的。但有一个深度学习分支专门关注这个问题,称为持续学习。