假设我有一个包含200万条数据的数据集。最初,我只使用了其中的100万条数据进行训练,并将模型以h5
格式保存,如first.h5
。后来,我使用了另外100万条数据,采用相同的算法进行训练,并保存为second.h5
。训练过程需要超过一天的时间,因此我无法一次性使用全部的200万条数据。是否有任何方法可以合并这两个保存的模型,如first.h5 + second.h5
= merged.h5
回答:
你无法做到这一点(合并模型)。让我用简单的术语来解释。你训练了一个名为first
的孩子,使用大约100万条数据来识别图像是猫还是狗。然后你训练了第二个名为second
的孩子,使用另外100万条数据来识别图像是猫还是狗。现在你所要求的是将first
和second
结合起来。
然而,假设训练数据是IID(独立且同分布)的,那么你可以做的就是创建这两个模型的集合来进行预测。
集合两个模型的简单方法包括:
- 最大投票
- 平均法
- 加权平均法
请按照此链接了解如何进行模型集合。
或者,一个简单的策略是平均两个模型的最终得分,并使用平均后的得分进行预测。
更强大的策略是使用验证集来寻找类别的权重,然后使用这些权重对未见数据进行最终预测。