我遇到了以下问题。假设有一个数据集E(例如包含年龄信息)。考虑E的两个子集,E1包含年龄<40的人,E2包含年龄>=40的人。如果H是使用E1作为训练集的学习方法提供的解决方案,那么E2是否是H的真实误差的无偏估计器?
根据Tom Mitchell的机器学习书籍:估计量Y对任意参数p的估计偏差是E[y]-p。如果估计偏差为零,我们说Y是p的无偏估计器。为了使errors(h)对errorv(h)给出无偏估计,假设h和样本S必须独立选择。
我有点困难回答这个问题,但我认为它不是一个无偏估计器。
回答:
假设你要预测的是年龄(回归或分类的目标),答案显然是NO。当系统在E1(年龄<40)上训练时,一般来说,E2(年龄>=40)是估计其误差的有偏数据集。因为训练集不包含验证集的足够变化(除非模型非常简单,如线性模型)。正确的方法是从E中随机选择E1和E2。