我有一个仅包含两个类别的文档分类问题，我的训练数据集矩阵在使用CountVectorizer后变为(40,845 x 218,904)（单字）。如果考虑三元组，矩阵大小可以达到(40,845 x 3,931,789)。有没有办法在这样的数据集上执行PCA，而不会遇到内存或稀疏数据集错误？我使用的是6GB内存的机器上的Python sklearn。

回答：

如果你有6GB的RAM，你应该有一台64位的机器，所以最简单的解决方案可能是增加你的RAM。

否则，可以参考这个交叉帖子： https://scicomp.stackexchange.com/questions/1681/what-is-the-fastest-way-to-calculate-the-largest-eigenvalue-of-a-general-matrix/7487#7487

最近在这方面有一些很好的研究。新的方法使用“随机算法”，只需读取几次你的矩阵就能获得最大的特征值的高精度结果。这与需要多次矩阵-向量乘法才能达到高精度的幂迭代法形成对比。

你可以在这里阅读更多关于新研究的信息：

http://math.berkeley.edu/~strain/273.F10/martinsson.tygert.rokhlin.randomized.decomposition.pdf

http://arxiv.org/abs/0909.4061

以下代码可以帮助你实现：

http://cims.nyu.edu/~tygert/software.html

https://bitbucket.org/rcompton/pca_hgdp/raw/be45a1d9a7077b60219f7017af0130c7f43d7b52/pca.m

http://code.google.com/p/redsvd/

https://cwiki.apache.org/MAHOUT/stochastic-singular-value-decomposition.html

如果你的编程语言不在这些选项中，你可以很容易地自己实现随机SVD；它只需要一个矩阵向量乘法，然后调用一个现成的SVD即可。