如果我在一个(大的)图像上训练模型,一步等于一个epoch吗?

我正在使用TensorFlow对象检测API实现一个主动学习流程。因此,我从xView数据集中的一张图像开始(大小约为3000×4000像素)。

现在我正在用批量大小为1训练我的faster_rcnn网络。如果只有一个图像进行训练且批量大小为1,那么控制台中打印的每一步是否等于一个epoch?

假设经过20个主动学习周期后,训练数据集中有20张图像,我训练了19步,那么最后一张图像永远不会被训练,对吗?

如果图像数量增加但每个主动学习周期的步数保持不变,网络永远不会训练后添加的图像,还是会从它停止的地方继续训练(例如图像19)?


回答:

你似乎正确理解了epoch:它是在数据集中对每个图像训练一次的训练过程。如果你的批量大小等于数据集大小,那么是的,每个epoch有一个迭代。

如果你训练了19步(批量大小=1)并且有20张图像,那么其中一张将被排除在近似epoch之外…但被排除的图像不一定是“最后”一张(“最后”取决于你的图像如何排序)。这取决于你的数据摄取软件——你没有指定这一点。

大多数这些输入包使用“shuffle”操作,这是一个在每个epoch开始时随机排序数据集的功能。我也使用过一个摄取包,正如你所建议的,从上一个周期停止的地方继续进行每一次传递(伪epoch训练组)。它还提供了一个选项,每次数据集用尽时是否重新洗牌。

为了得到明确的答案,你需要检查你的框架文档和你为特定模型所做的配置选择。如果没有这样的文档,你就只能做我曾经不得不做过几次的事情:花十分钟原始尖叫时间:-),然后阅读代码。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注