如果我在构建一个天气预测器,用来预测明天是否会下雪,那么直接回答“不会”是最简单的做法。
显然,如果你在一年的每一天评估这样的分类器,它的准确率将达到95%(考虑到我是在一个很少下雪的地区构建和测试的)。
当然,即便准确率达到95%,这也是一个非常愚蠢的分类器,因为显然在冬季(一月和二月)预测是否会下雪比其他月份更为重要。
因此,如果我收集了很多关于前一天的特征来预测第二天是否会下雪,考虑到其中有一个特征是表示一年中的哪个月份或星期,那么我该如何权衡这个特定特征,并设计分类器来解决这个实际问题呢?
回答:
当然,即便准确率达到95%,这也是一个非常愚蠢的分类器,因为显然在冬季(一月和二月)预测是否会下雪比其他月份更为重要。
在你的情况下,准确率可能不是最好的衡量标准。考虑使用精确度和召回率以及F1分数。
我该如何权衡这个特定特征,并设计分类器来解决这个实际问题呢?
我认为你不应该以任何方式权衡任何特定特征。你应该让你的算法来做这件事,并使用交叉验证来决定模型的最佳参数,以避免过拟合。
如果你说一月和二月是最重要的月份,考虑只在这两个月应用你的模型。如果这不可行,可以考虑根据它们的数量为你的类别(将要下雨/不会下雨)赋予不同的权重。这个问题讨论了这个问题——无论你选择哪种语言,这个概念都应该是可以理解的。