假设你在二维空间中有两个高斯概率分布,第一个中心位于(0,1),第二个中心位于(0,-1)。(为了简化起见,假设它们具有相同的方差。) 可以认为从这两个高斯分布中采样的数据点簇是线性可分的吗?
直观上,很明显分隔这两个分布的边界是线性的,在我们的例子中即为横轴。然而,线性可分性的正式要求是簇的凸包不重叠。对于由高斯分布生成的簇来说,这是不可能的,因为它们的基础概率分布遍布整个R^2(尽管远离均值的概率可以忽略不计)。
那么,由高斯分布生成的簇是否线性可分呢?如何调和凸包的要求与直线是唯一可想像的“边界”这一事实?或者,一旦引入不等方差,边界实际上就不再是线性的了?
回答:
高斯簇实例可能是可分的,也可能不是。这取决于结果,而不是生成它的过程。
线性可分性可以定义为存在一个平面分隔两组点,使得一组点完全位于平面的一侧,另一组点完全位于平面的另一侧。
现在考虑你的特定高斯分布。它们有可能生成两个线性可分的集合(无论是否在横轴上)。然而,如果方差非零,并且你让过程生成足够多的点,那么结果几乎肯定不会是线性可分的。
所以,再次强调,这是一个结果的问题,而不是过程的问题。