我正在撰写一篇文章，专注于一个简单的问题——在大型数据集上进行线性回归，其中存在标准正态或均匀噪声。我选择了TensorFlow的Estimator API作为建模框架。

我发现，对于这种机器学习问题，超参数的调整实际上并不重要，只要训练步骤的数量足够大即可。这里的超参数指的是训练数据流中的批次大小或训练轮数。

是否有任何论文/文章对此进行了正式证明？

回答：

我认为没有专门针对这个问题的论文，因为这是一个或多或少的基本事实。这本书的介绍章节讨论了一般机器学习的概率解释，特别是损失函数的优化问题。

简而言之，核心思想是这样的：相对于(x1,..., xn)的迷你批次优化，相当于相对于x1, …, xn输入的连续优化步骤，因为梯度是一个线性算子。这意味着迷你批次更新等于其各个更新的总和。这里需要注意的是：我假设神经网络不应用批归一化或任何其他增加推理模型显式变异的层（在这种情况下，数学会稍微复杂一些）。

因此，批次大小可以被视为一个纯粹的计算概念，通过向量化和并行计算来加速优化。假设可以承受任意长的训练时间，并且数据被适当打乱，那么批次大小可以设置为任何值。但这并不自动适用于所有超参数，例如非常高的学习率很容易导致优化过程发散，所以不要误以为超参数调整在一般情况下不重要。