在scikit-learn中训练神经网络时的早期停止

这个问题非常具体,针对Python库scikit-learn。如果有更合适的地方发布这个问题,请告诉我。谢谢!

现在是问题…

我有一个基于BaseEstimator的前馈神经网络类ffnn,我用SGD来训练它。运行良好,我也可以使用GridSearchCV()并行训练它。

现在我想在ffnn.fit()函数中实现早期停止,但为此我还需要访问折叠的验证数据。一种方法是更改sklearn.grid_search.fit_grid_point()中的一行代码,原本是

clf.fit(X_train, y_train, **fit_params)

改成类似于

clf.fit(X_train, y_train, X_test, y_test, **fit_params)

并且也需要更改ffnn.fit()来接受这些参数。这也会影响到sklearn中的其他分类器,这是一个问题。我可以通过在fit_grid_point()中检查某种标志来避免这个问题,该标志告诉我何时以上述两种方式之一调用clf.fit()。

有人能建议一种不同的方法来实现这一点,而不需要编辑sklearn库中的任何代码吗?

或者,将X_train和y_train进一步随机分割成训练/验证集,并检查一个好的停止点,然后在所有X_train上重新训练模型,这样做对吗?

谢谢!


回答:

你可以让你的神经网络模型内部从传入的X_trainy_train中提取一个验证集,例如使用train_test_split函数。

编辑:

或者,将X_train和y_train进一步随机分割成训练/验证集,并检查一个好的停止点,然后在所有X_train上重新训练模型,这样做对吗?

是的,但这样做会很昂贵。你可以只找到停止点,然后只在用于找到停止点的验证数据上进行一次额外的传递。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注