我正在尝试使用Python训练一个神经网络（反向传播+梯度下降），使用的是基于谷歌图书2-gram（英语版）构建的特征，最终数据将达到大约十亿行，每行有20个特征。这将轻易超过我的内存，因此使用像numpy这样的内存数组不是一个选项，因为它需要加载完整的训练集。

我研究了numpy中的内存映射，这可能可以解决输入层的读取问题（这些是只读的），但我还需要存储和操作网络中的内部层，这需要大量的数据读写，考虑到数据量，性能在这个过程中极为关键，因为它可以为我节省数天的处理时间。

有没有一种方法可以在每次成本（损失）最小化迭代时不加载完整的训练集到内存中来训练模型？

回答：

你可能在寻找的是小批量处理。一般来说，训练神经网络的许多方法都是基于梯度的，而你的损失函数是训练集的函数——因此梯度也是如此。正如你所说——它可能会超过你的内存。幸运的是，对于加性损失函数（你将使用的大多数都是加性的），可以证明你可以用随机（或小批量）梯度下降代替完整的梯度下降，并且仍然可以收敛到局部最小值。现在，通常的做法是使用32、64或128行的批次，因此很容易适应你的内存。这种网络实际上可以比用完整梯度训练的网络更快地收敛到解决方案，因为你对数据集的每一步做了N / 128次移动，而不是只移动一次。即使每一步都比较粗糙——作为组合，它们工作得相当好。