我在为一个课程进行性别分类工作。我之前使用SVMLight取得了不错的效果，但我想在我的数据上尝试一些贝叶斯方法。我的数据集由文本数据组成，我已经进行了特征降维，以将特征空间缩减到适合某些贝叶斯方法的合理大小。所有实例都通过tf-idf处理，然后通过我自己的代码进行归一化。

我选择了sklearn工具包，因为它很容易与我的现有代码库集成，但我在使用GaussianNB时得到的结果都是同一类（在这种情况下是-1），预测的概率都是[nan]。

我粘贴了一些相关的代码；我不知道这些是否足够，但希望我只是在使用sklearn API时忽略了一些明显的问题。我尝试了几个不同的特征集，结果都是一样的。使用训练集和交叉验证时也是如此。有什么想法吗？可能是我的特征空间过于稀疏，导致这种方法不适用吗？我有大约300个实例，其中大多数有几百个非零特征。

class GNBLearner(BaseLearner):    def __init__(self, featureCount):        self.gnb = GaussianNB()        self.featureCount = featureCount    def train(self, instances, params):        X = np.zeros( (len(instances), self.featureCount) )        Y = [0]*len(instances)        for i, inst in enumerate(instances):            for idx,val in inst.data:                X[i,idx-1] = val            Y[i] = inst.c        self.gnb.fit(X, Y)    def test(self, instances, params):        X = np.zeros( (len(instances), self.featureCount) )        for i, inst in enumerate(instances):            for idx,val in inst.data:                X[i,idx-1] = val        return self.gnb.predict(X)    def conf_mtx(self, res, test_set):        conf = [[0,0],[0,0]]        for r, x in xzip(res, test_set):            print "pred: %d, act: %d" % (r, x.c)            conf[(x.c+1)/2][(r+1)/2] += 1        return conf

回答：

GaussianNB 完全不适合文档分类，因为tf-idf值是非负频率；请改用MultinomialNB，也可以尝试BernoulliNB。scikit-learn提供了一个文档分类的示例，顺便提一下，该示例使用了内置的TfidfTransformer进行tf-idf加权。

不过，别指望奇迹，因为300个样本对于训练集来说相当少（尽管对于二元分类，这可能刚好足以击败“最频繁”基线）。结果可能会有所不同。

完全披露：我是scikit-learn的核心开发者之一，也是当前MultinomialNB和BernoulliNB代码的主要作者。