我有一些传感器从水泥厂获取数据,并将数据发送到AWS IoT。数据随后在预训练模型上进行测试,模型根据某些参数预测水泥的质量。数据以一秒为间隔传输。
由于数据是实时传输的,我希望能够实时增量训练模型。
有谁能建议如何持续训练模型吗?
回答:
你可以聚合一定数量的训练数据,然后使用.partial_fit()
来更新你的模型。
.partial_fit()
是Sklearn中提供的增量学习选项。
如果你的增量数据无法装入RAM中,那么尝试使用dask-ml的增量学习包装器是值得的。
我有一些传感器从水泥厂获取数据,并将数据发送到AWS IoT。数据随后在预训练模型上进行测试,模型根据某些参数预测水泥的质量。数据以一秒为间隔传输。
由于数据是实时传输的,我希望能够实时增量训练模型。
有谁能建议如何持续训练模型吗?
回答:
你可以聚合一定数量的训练数据,然后使用.partial_fit()
来更新你的模型。
.partial_fit()
是Sklearn中提供的增量学习选项。
如果你的增量数据无法装入RAM中,那么尝试使用dask-ml的增量学习包装器是值得的。