作为一个统计学背景不强的人，能否有人向我解释一下批量归一化(batch normalization)的主要限制是什么，以及批量重新归一化(batch renormalization)旨在解决这些限制，特别是它与批量归一化有何不同？

回答：

简而言之，批量归一化只是将每个批次重新缩放到一个共同的均值和偏差。每个批次是独立缩放的。批量重新归一化则将之前的归一化参数纳入新的计算中，使得每个批次都归一化到所有批次共有的标准。这样做逐步接近全局归一化，防止偏离中心的批次使训练偏离所需的中心。