VC维度和PAC学习

能否用一个例子解释VC维度和PAC学习的概念?我在网上看到了一些内容,但没有找到一个好的例子来理解这些概念。


回答:

它们是相互关联但不同的概念。我将尝试简洁地解释这两个术语并展示它们之间的关系:

PAC学习是由Leslie Valiant在1984年提出的一个理论框架,旨在将复杂性理论的思想引入到学习问题中。在复杂性理论中,你希望通过计算量(步骤数)的界限来分类决策问题,而在PAC模型中,你希望通过计算界限和所需样本数量的界限来分类概念类(任务),给定一定的误差容忍度epsilon和置信水平1-delta。PAC学习为绝对误差提供保证,即你的假设(学习到的函数)与概念(目标函数,你的任务)之间的差异有多大,考虑到你只能测量你的经验误差,即从你的训练样本中得到的误差。

VC维度(以Vapnik和Chervonenkis命名)是一个数字,代表特定假设类(学习算法)的复杂性。例如,感知器假设类比多层感知器简单,因此它的VC维度较小。

在几个PAC定理中,你会看到假设类大小的度量,一个衡量其容量或复杂性的度量,作为其中的一个术语。VC维度可以用作代表这个大小的数字。

我推荐查看Mohri的《机器学习基础》,其中有PAC学习的一个很好的例子(第一章就有一个很好的例子)。

P.S. 我猜这个问题不太适合在StackOverflow上提问。对于这类问题,你可能会在CrossValidated上得到更好的回答。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注