我在使用Kaggle数据集学习机器学习。在一个使用逻辑回归的问题中，输入和参数矩阵的尺寸分别为(1110001, 8)和(2122640, 8)。
我在Python中进行计算时遇到了内存错误。我认为在任何语言中都会遇到同样的问题，因为数据量太大了。我的问题是，在实际的机器学习实现中，他们是如何进行矩阵乘法的（因为通常数据量会这么大）？
困扰我的问题有：
-
有些人在Stack Overflow上建议分段计算点积然后再合并。但即便如此，矩阵仍然会太大，无法装进RAM（在这种情况下是9.42TB）
-
如果我将数据写入文件，是否会导致优化算法读取文件并最小化函数的速度过慢？
-
即使我将数据写入文件，fmin_bfgs（或任何优化函数）又该如何从文件中读取数据呢？
-
Kaggle笔记本显示只有1GB的可用存储空间。我认为没有人会允许使用TB级的存储空间。
-
在我的输入矩阵中，许多行的某些列具有相似的值。我能利用这一点来节省空间吗？（例如，对于矩阵中的零使用稀疏矩阵）
能否有人指出这种情况的实际生活中的样本实现。谢谢！
回答：
我尝试了很多方法。我会在这里提到这些，如果将来有人需要的话：
- 我已经清理了数据，比如根据给定的问题删除了重复和不相关的记录等。
- 我将主要包含0的大型矩阵存储为稀疏矩阵。
- 我使用了mini-batch方法而不是传统的Batch方法实现了梯度下降（
theta.T dot X）。
现在一切运作良好。
