我的生成器总是随机从数据集中生成两张图片,然后我使用这两个样本计算损失。假设我设置steps_per_epoch=40
和epochs=5
,如果我设置steps_per_epoch=5
和epochs=40
(我使用Adam作为优化器),有什么区别吗?
回答:
epochs
参数(也称为迭代)指的是对整个训练数据进行完整遍历的次数。steps_per_epoch
参数指的是在一个epoch中生成的批次数量。因此我们有steps_per_epoch = n_samples / batch_size
。
例如,如果我们有1000个训练样本,并且设置批次大小为10,那么我们有steps_per_epoch = 1000 / 10 = 100
。epochs
的设置与批次大小或steps_per_epoch
的值无关。
没有一个批次大小适用于所有情况。通常,非常大的批次大小会减缓训练过程(即模型需要更长时间才能收敛到一个解决方案),而非常小的批次大小可能无法有效利用可用资源(即GPU和CPU)。常用的批次大小包括32、64、128、256、512(2的幂有助于更快的GPU内存分配)。此外,这里有一个在Stack Overflow上的回答讨论了这个问题,并引用了相关书籍和论文。或者查看这个在Cross Validated上的问题及其回答,以获得对批次大小更完整的定义。