如何计算这种情况下的H的*VC维度*?

  • 设H表示Rn中与坐标轴平行的矩形集合。每个矩形定义了一个二元分类器,将矩形内的点标记为+1,矩形外的点标记为-1。每个矩形由每个维度1≤i≤n上的区间[ai,bi]定义。一个点x=(x1,…,xn)∈Rn在矩形内当且仅当对于所有1≤i≤n,ai ≤xi ≤bi。H的VC维度是多少?请证明你的答案。

这是使用LaTex输入的,这是原文

据我所知,VC维度是假设集H可以粉碎的样本大小d的最大整数,但在这种情况下,如果H是矩形,我们如何计算这个值呢?


回答:

对于Rn中的与坐标轴对齐的矩形,VC维度至少为2*n。

首先考虑R1中的矩形,这实际上只是x1轴上的一对最小/最大值(a1, b1)(不是真正的矩形)。这对值的VC维度为2,因为对于R1中的任意两个点,你可以设置(a1, b1),使得这两个点中的一个、两个或都不在它们之间。但当你沿该轴添加第三个点时,你无法在不包括中间点的同时将两个外点包含在(a1, b1)范围内。

为了更容易可视化,假设这两个点分别位于x1 = -2x1 = 2。你可以通过定义矩形边界(a1, b1)来粉碎这个集合:

(-3, 3) -> 两个点都被包含(-3, 1) -> 仅第一个点被包含(-1, 3) -> 仅第二个点被包含(-1, 1) -> 两个点都不被包含

现在假设你增加一个维度,使你的空间位于R2(即,现在是一个真正的矩形区域)。再添加两个点,并将新点的x1坐标设为0,这样它们在第一个维度上(对于上述定义的矩形)总是被包含,并将新点的x2坐标分别设为-2和2。同时,将前两个点的x2坐标设为0。

当你将(a1, b1, a2, b2)设为(-3, 3, -3, 3)时,你将包含所有4个点。你可以通过简单地将4个边界之一的绝对值从3减到1来排除任何点。由于你可以通过更改R2矩形的相应边界来包含4个点的任何子集,因此R2矩形的VC维度至少为4。

显然,你可以对任意数量的维度重复此过程。每次你添加一个新的维度xi时,将所有点的xi坐标设为0,除了你为该维度添加的两个新点(它们将分别位于xi = -2xi = 2)。

由于你可以为每个维度粉碎2个额外的点,因此对于Rn中的与坐标轴对齐的矩形,VC维度将至少为2*n。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注