我目前正在尝试开发自己的朴素贝叶斯分类器，用于分类特征，以确保我理解它们。现在我想将它们与 sklearn 的 MultinomialNB 进行比较。但不知为何，我无法正确运行 sklearn 版本。我认为最容易比较的是 Kaggle 的泰坦尼克号数据集。所以我做了以下操作（这相当简单，对吧？）：

但实际上它预测的（或者说没有预测的）是泰坦尼克号上的所有人都死了。换句话说，当预测的类标签是 [0, 1] 时，它预测的是 0。最奇怪的是，它显然只是给出了每个预测的 类先验 P(y) 的概率（我用自己的算法检查了这一点 ;)）。所以它显然没有将它与似然 P(X|y) 相乘。

有没有人遇到过这种情况？我在这里犯了什么明显的错误吗？

编辑：

我想我现在明白了。如果我将输入数据集转换为列联表，并对输入特征进行独热编码，它会给出相同的预测概率。我使用了 alpha=0 的平滑来与我自己的算法进行比较：

尽管如此，我仍然在想，为什么我现在必须手动指定类先验。如果我不这样做，sklearn 现在会使用无信息先验，[0.5, 0.5]…

回答：

给定单一特征，多项式朴素贝叶斯模型的工作方式完全符合预期。如果你查看 P(X|y) 的公式，当特征数 n=1 时，它等于 1。原因如下。

朴素贝叶斯模型之间的区别在于它们对条件分布 P(X | y) 的假设。多项式朴素贝叶斯假设这是一个多项式分布。多项式分布模型了 n 次掷骰子时每个面的计数概率。

例如，假设你有一批由两个公司生产的骰子：FairDice 和 Crooks&Co。FairDice 以生产公平骰子而闻名，而 Crooks&Co 生产的骰子倾向于总是掷出 6 点。你需要通过多次掷骰并观察结果来预测骰子的生产者。你多次掷每个骰子，并记录结果在一个具有 6 个特征的数据集中。每个特征代表掷骰时相应值出现的次数。

count_1 count_2 count_3 count_4 count_5 count_6 fair_dice
5       6       4       7       6       5       1
3       2       1       2       1       13      0     

现在这是一个适合训练多项式朴素贝叶斯分类器的数据集。

在单一特征上训练多项式朴素贝叶斯分类器相当于尝试对始终显示同一面的单面骰子进行分类。

单面骰子。它们确实存在！

例如，如果你的特征值为 [3,2,1]，这意味着你掷第一个骰子三次，每次都得到 1，掷第二个骰子两次，两次都得到 1，掷第三个骰子一次，得到 1。这不会给你任何关于骰子生产者的信息，所以你能预测的最好结果就是类先验，这正是算法所做的。