我知道PCA并不会告诉你数据集中哪些特征是最重要的，而是哪些特征的组合能够保留最多的方差。

PCA如何通过旋转数据集，使其在第一维度上具有最大方差，第二维度上次之，依此类推，来降低数据集的维度呢？

更深入地说，前N个特征向量是如何用来将特征向量转换为一个保留大部分方差的低维表示的？

回答：

设X为一个N x d的矩阵，其中每一行X_{n,:}是数据集中的一个向量。

那么X'X是协方差矩阵，通过特征分解得到X'X=UDU'，其中U是一个d x d的特征向量矩阵，且U'U=I，D是一个d x d的对角特征值矩阵。

特征分解的形式意味着U'X'XU=U'UDU'U=D，这表示如果你用U来转换你的数据集，那么新的数据集XU将具有对角协方差矩阵。

如果特征值按从大到小的顺序排列，这也意味着第一个转换后的特征的平均平方值（由表达式U_1'X'XU_1=\sum_n (\sum_d U_{1,d} X_{n,d})^2给出）将大于第二个，第二个大于第三个，依此类推。

如果我们将数据集的特征按平均值从大到小排序，然后去掉那些平均值较小的特征（且大平均值的相对大小远大于小平均值），那么我们并没有丢失太多信息。这就是这个概念的核心。