我对第一主方向有点困惑。假设我在二维欧几里得空间中有三个点：(1,1)、(2,2)和(3,3)，我想计算第一主成分。

首先我看到中心点是(2,2)，所以我将所有点移到原点。现在(2,2)变成了(0,0)，(1,1)变成了(-1,-1)，(3,3)变成了(1,1)。这是均值移动。现在，我知道从Matlab中得到的第一主成分是transpose((sqrt(2)/2, sqrt(2)/2))。但是，这是如何计算的？这意味着什么？

你是先计算协方差矩阵，然后找到特征值，再找到特征向量。这个特征向量就是方向吗？然后你进行归一化？

所以我们在均值移动后得到的点是(-1,-1)、(0,0)和(1,1)。现在我们计算协方差矩阵

c(x,x) c(x,y)

c(y,x) c(y,y)

结果是[0 1; 0 1]，然后我们查看最大的特征值1，并计算特征向量[1;1]。然后我们进行归一化，所以除以sqrt(1^2 + 1^2)？

回答：

你写的步骤是正确的，但你对一些概念有误解。“均值移动”部分没有问题，但你对协方差矩阵的理解是错误的。由于原始数据是二维的，那么协方差矩阵应该在这两个维度之间，包括所有六个值，即x轴上的(-1,0,1)和y轴上的(-1,0,1)。所以[0 1; 0 1]不是正确的答案。

假设我们已经有了协方差矩阵，我们可以使用Matlab中的svd函数来获取特征向量和特征值。具有最大特征值的特征向量不是方向，而是一个新的基础，用来表示数据。所以如果你将这个特征向量与原始数据相乘，你可以得到数据在新坐标系中的新表示。

我写了一段Matlab代码来使我的描述更易于理解。

clear;% Original datax = [1,1;2,2;3,3];x = x';x = x - repmat(mean(x, 2), 1, size(x, 2));figure('name','original data')plot(x(1,:),x(2,:),'*')axis([-5 5 -5 5])% PCA rotate datasigma = x * x' / size(x, 2);[U, S, V] = svd(sigma);xRot = U' * x;figure('name','PCA data rotation')plot(xRot(1,:),xRot(2,:),'*')axis([-5 5 -5 5])