任何使用任意数据计算的核矩阵（或Gram矩阵）都被保证是半正定的。

我有一个数据矩阵D，每一行是一个数据向量。如果我这样计算核，

K = D*D';

结果发现它不是半正定的，更不用说正定了。

为什么会这样？有什么是我遗漏的吗？我的直觉告诉我，这很可能是由于数值误差造成的，因为我的核矩阵的所有负特征值都在1E-12左右。

这个问题在某种程度上暗示了一个答案，但我无法想象为什么矩阵至少不是对称的！

回答：

一般说明

首先，仔细检查你的D是否正确定向。如果你使用

K = D*D';

那么你需要D的维度为N x d，其中N是样本数，d是特征数（换句话说 – 行向数据集）。否则你也会得到一个有效的Gramian，但适用于不同的问题（而且对于d >> N，这可能会导致更多的数值不稳定性）。

半正定Gram矩阵

结果矩阵将始终是对称的（除非你有非确定性算术运算）。

半正定性也是有保证的，唯一可能导致这种特性缺失的原因是数值误差。如果出现这种情况，考虑通过一些软技术降低D的维度，例如使用非常高的k（例如等于D/2）的PCA。另一个可能有帮助的技巧（然而，它引入了问题的额外数学约束）是计算：

K = D*D' + eps*I

其中eps是一个小的常数（比如说1e-10，这样它比你的负特征值大），I是一个维度为N的单位矩阵。这种技术有许多名称（取决于研究领域），其中之一是正则化。

正定Gram矩阵

正定Gram（核）矩阵要少见得多，它是正定的当且仅当你的向量是线性独立的（所以特别是你需要d>=N，但显然线性独立性是更强的条件，所以这只是要求，不是当且仅当）。因此，许多核矩阵是通过一些复杂的投影获得的，这些投影确保了线性独立性，例如RBF核诱导线性独立性（在特征空间中！），因此基于RBF的核矩阵应该是正定的（在数值误差范围内，并且假设你的数据集是一致的，意味着每个点与其他点不同）。