用于连续值特征的特征选择算法POE1ACC

我想实现“错误概率和平均相关系数”的算法。（更多信息请见第143页）。这是一个从特征集中选择未使用特征的算法。据我所知，该算法不仅限于布尔值特征，但我不知道如何将其用于连续特征。

这是我能找到的关于该算法的唯一示例：

因此，X 是要预测的特征，C 是任意特征。为了计算C的错误概率值，他们选择与绿色部分不匹配的值。因此，C的PoE是(1-7/9) + (1-6/7) = 3/16 = 0.1875。

我的问题是：我们如何使用连续特征而不是布尔特征来计算PoE，就像这个例子一样？或者这是不可能的吗？

回答：

您描述的算法是一种特征选择算法，类似于前向选择技术。在每一步，我们找到一个新的特征Fi，使其最小化以下标准：

weight_1 * ErrorProbability(Fi) + weight_2 * Acc(Fi)

ACC(Fi)表示特征Fi与已选择的其他特征之间的平均相关性。您希望最小化这一点，以便所有特征不相关，从而有一个良好条件的问题。

ErrorProbability(Fi)表示特征是否正确描述了您想要预测的变量。例如，假设您想根据温度（连续特征）预测明天是否会下雨

P = Sum_Ci { Integral_xeHi { P(x|Ci)*P(Ci) } }

在我们的例子中

有趣的是，您可以选择任何您喜欢的预测器。

现在，假设您将所有温度放在一个向量中，将所有状态下雨/不下雨放在另一个向量中：

为了得到P(x|下雨)，考虑以下值：

temperaturesWhenRainy <- temperatures[which(state=='rainy')]

接下来您应该做的是绘制这些值的直方图。然后您应该尝试在其上拟合一个分布。您将得到P(x|下雨)的参数公式。

如果您的分布是高斯分布，您可以简单地这样做：

m <- mean(temperaturesWhenRainy)s <- sd(temperaturesWhenRainy)

给定某个x值，您有P(x|下雨)的概率密度：

p <- dnorm(x, mean = m, sd = s)

您可以对P(x|不下雨)执行相同的程序。然后P(下雨)和P(不下雨)很容易计算。

一旦您有了所有这些东西，您就可以使用贝叶斯错误率公式，这将为连续特征提供您的ErrorProbability。

祝好

学技术