如何在实时数据上持续训练我们的预训练模型?

我有一些传感器从水泥厂获取数据,并将数据发送到AWS IoT。数据随后在预训练模型上进行测试,模型根据某些参数预测水泥的质量。数据以一秒为间隔传输。

由于数据是实时传输的,我希望能够实时增量训练模型。

有谁能建议如何持续训练模型吗?


回答:

你可以聚合一定数量的训练数据,然后使用.partial_fit()来更新你的模型。

.partial_fit()是Sklearn中提供的增量学习选项。

如果你的增量数据无法装入RAM中,那么尝试使用dask-ml的增量学习包装器是值得的。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注