非线性核允许支持向量机在高维空间中线性分离非线性数据。RBF核可能是最流行的非线性核之一。

我被告知RBF核是高斯核，因此可以无限次求导。凭借这一特性，RBF核可以将数据从低维空间映射到无限维空间。我有两个问题：

1) 能否有人解释为什么映射后的特征空间的数量与核的导数相对应？我对这部分不太清楚。2) 有许多非线性核，例如多项式核，我相信它们也能够将数据从低维空间映射到无限维空间。但为什么RBF核比它们更受欢迎？

提前感谢您的帮助。

回答：

1) 能否有人解释为什么映射后的特征空间的数量与核的导数相对应？我对这部分不太清楚。

这与是否可导无关，线性核也是无限可导的，但不会映射到任何更高维的空间，任何告诉你这是原因的人——要么是撒谎，要么是没有理解背后的数学。无限维度来自于映射

phi(x) = Nor(x, sigma^2)

换句话说，你是在将你的点映射到一个高斯分布的函数中，这是L^2空间的一个元素，无限维的连续函数空间，其中标量积定义为函数乘积的积分，因此

<f,g> = int f(a)g(a) da

因此

<phi(x),phi(y)> = int Nor(x,sigma^2)(a)Nor(y,sigma^2)(a) da                 = X exp(-(x-y)^2 / (4sigma^2) )

对于某个归一化常数X（这完全不重要）。换句话说，高斯核是两个具有无限维度的函数之间的标量积。

2) 有许多非线性核，例如多项式核，我相信它们也能够将数据从低维空间映射到无限维空间。但为什么RBF核比它们更受欢迎？

多项式核映射到特征空间的维度为O(d^p)，其中d是输入空间的维度，p是多项式的次数，因此远非无限。为什么高斯核受欢迎？因为它有效，且使用简单，计算速度快。从理论上讲，它还保证能够学习任何任意点集（使用足够小的方差）。