我正在尝试在数字分类数据上实现朴素贝叶斯高斯分类器。每个特征代表一个像素。
在尝试实现这个过程中，我遇到了一个问题，我注意到一些特征的方差等于0。这是一个问题，因为在计算概率时我无法除以0。
我该如何解决这个问题呢？
回答：
非常简短的回答是你不能 – 尽管你通常可以尝试将任何数据拟合到高斯分布（不管其真实分布如何），但有一个例外情况 – 常数情况（0方差）。那么你能做什么呢？有三种主要的解决方案：
-
忽略方差为0的像素。我不推荐这种方法，因为它会丢失信息，但如果每个类别的方差都为0（这在MNIST中很常见 – 有些像素是黑色的，独立于类别），那么从数学上讲，这实际上是完全合理的。为什么？答案非常简单，如果对于每个类别，给定的特征是常数（等于某个单一值），那么它对分类实际上没有任何信息，因此忽略它不会影响假设特征条件独立的模型（如NB）。
-
不使用最大似然估计（即使用N(mean(X), std(X))），而是使用正则化估计器，例如形式为N(mean(X), std(X) + eps)的估计器，这相当于独立地向每个像素添加eps噪声。这是一种非常通用的方法，我推荐使用。
-
使用更合适的分布类，如果你的数据是图像（并且由于你有0方差，我假设这些是二值图像，可能是MNIST），你有K个特征，每个都在[0, 1]区间内。你可以使用带有分桶的多项分布，因此P(x e Bi|y) = #{ x e Bi | y } / #{ x | y }。最终，这通常是最好的做法（然而需要对你的数据有一定的了解），因为问题是你试图使用一个不适合提供数据的模型，我可以向你保证，适当的分布总是会给NB带来更好的结果。那么你如何找到一个好的分布呢？绘制每个特征的条件边缘分布P(xi|y)，看看它们看起来像什么，基于此 – 选择与行为相匹配的分布类，我可以向你保证，这些看起来不像高斯分布。
