我在TensorFlow中使用tflearn训练一个神经网络，训练数据是我自己生成的。据我所知，每个epoch我们都会使用所有训练数据。由于我可以控制示例的数量，似乎最好是生成更多的训练数据，直到一个epoch就足够训练网络。

所以我的问题是：假设我有足够的训练数据，只使用一个epoch有什么缺点吗？我假设100万个示例的一个epoch比10万个示例的10个epoch更好，这种假设正确吗？

回答：

在与@Prune讨论后：

假设你可以生成无限数量的标记示例，这些示例是从固定的概率分布中抽样，即来自相同的流形。

网络看到的示例越多，它学得就越好，尤其是它的泛化能力会更好。理想情况下，如果你训练的时间足够长，它在这个特定任务上可以达到100%的准确率。

结论是，只运行一个epoch是可以的，只要这些示例是从相同的分布中抽样即可。

这种策略的限制可能是：

• 如果你需要存储生成的示例，你可能会用尽内存
• 为了处理不平衡的类别（参见@jorgemf的回答），你只需要为每个类别抽取相同数量的示例。
  • 例如，如果你有两个类别，其中抽取第一个类别的概率为10%，你应该创建示例批次，使其分布为50% / 50%

运行多个epoch可能会使它更好地学习一些不常见的情况。

我不同意，使用相同示例多次总是比生成新的未知示例更差。然而，随着时间的推移，你可能想要生成越来越难的示例，以使你的网络在不常见的情况下表现更好。