我研究神经网络已经很长时间了，现在卡在了一个叫做正则化的主题上。我学习了L1和L2正则化技术，这些技术的主要目的是尽可能地保持权重较小。但我仍然不明白为什么这有用。我实际上在跟着一本书学习-http://neuralnetworksanddeeplearning.com/chap3.html

回答：

这不是从理论上，而是从实践上来说是有帮助的。

神经网络的权重通常存储为16位或32位的浮点数。对于深度神经网络，如果你在反向传播中不添加正则化项，它们的权重会增加到浮点数无法很好表示的程度（趋向于无穷大），或者变得非常小以至于都被表示为零，神经网络将不再能正常工作。

这被称为梯度消失或梯度爆炸问题。在成本函数中加入权重的总和，可以让我们在优化损失函数的同时保持权重的实用性。