我正在尝试使用Scikit Learn对文本数据进行分类，方法如这里所示。(http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html)，但我加载的是自己的数据集。

我得到了结果，但我想找出分类结果的准确性。

    from sklearn.datasets import load_files    text_data = load_files("C:/Users/USERNAME/projects/machine_learning/my_project/train", description=None, categories=None, load_content=True, shuffle=True, encoding='latin-1', decode_error='ignore', random_state=0)    from sklearn.pipeline import Pipeline    from sklearn.linear_model import SGDClassifier    text_clf = Pipeline([('vect', CountVectorizer()),                        ('tfidf', TfidfTransformer()),                        ('clf', LinearSVC(loss='hinge', penalty='l2',                                                random_state=42)),    ])    _ = text_clf.fit(text_data.data, text_data.target)    docs_new = ["Some test sentence here.",]    predicted = text_clf.predict(docs_new)    print np.mean(predicted == text_data.target)     for doc, category in zip(docs_new, predicted):        print('%r => %s' % (doc, text_data.target_names[predicted]))

在这里，我得到的np.mean预测值为0.566。

如果我尝试：

twenty_test = load_files("C:/Users/USERNAME/projects/machine_learning/my_project/testing", description=None, categories=None, load_content=True, shuffle=True, encoding='latin-1', decode_error='ignore', random_state=0)docs_test = twenty_test.datapredicted = text_clf.predict(docs_test)np.mean(predicted == twenty_test.target)

现在它显示为1。

我不明白这是如何工作的，以及np.mean到底是什么，为什么在使用相同数据训练时显示不同的结果。

“train”文件夹大约有15个文档，测试文件夹也大约有15个文档，如果这有关系的话。我对Scikit Learn和机器学习非常新手，所以任何帮助都非常感激。谢谢！

回答：

text_data = load_files("C:/Users/USERNAME/projects/machine_learning/my_project/train", ...)

根据文档，那行代码会将C:/Users/USERNAME/projects/machine_learning/my_project/train中的文件内容加载到text_data.data中。它还会将每个文档的目标标签（以其整数索引表示）加载到text_data.target中。因此，text_data.data应该是一个字符串列表，而text_data.target是一个整数列表。标签是从文件所在的文件夹中派生出来的。你的解释听起来像是你在C:/.../train/和C:/.../test/中没有子文件夹，这可能会造成问题（例如，所有标签都相同）。

from sklearn.pipeline import Pipelinefrom sklearn.linear_model import SGDClassifiertext_clf = Pipeline([('vect', CountVectorizer()),                    ('tfidf', TfidfTransformer()),                    ('clf', LinearSVC(loss='hinge', penalty='l2',                                            random_state=42)),])_ = text_clf.fit(text_data.data, text_data.target)

以上代码行是在你的示例文档上训练（在.fit()中）一个分类器。粗略地说，你是在告诉分类器（LinearSVC）哪些词在哪些文档中出现的频率（CountVectorizer，TfidfTransformer），以及这些文档各自的标签（text_data.target）。然后你的分类器试图学习一个规则，基本将这些词频（TF-IDF值）映射到标签上（例如，dog和cat强烈指示标签animal）。

docs_new = ["Some test sentence here.",]predicted = text_clf.predict(docs_new)

在用示例数据训练你的分类器后，你提供了一个全新的文档，并让你的分类器根据它所学到的内容预测该文档最合适的标签。predicted应该是一个只包含一个元素的标签（索引）列表（因为你只有一个文档），例如[5]。

print np.mean(predicted == text_data.target)

在这里，你将预测列表（1个元素）与训练数据的标签列表（15个元素）进行比较，然后取结果的平均值。这没有太大意义，因为列表大小不同，而且你的新示例文档与训练标签实际上没有关系。Numpy可能会将你的预测标签（例如5）与text_data.target中的每个元素进行比较。这将创建一个类似[False, False, False, True, False, True, ...]的列表，np.mean会将其解释为[0, 0, 0, 1, 0, 1, ...]，结果平均值为1/15 * (0+0+0+1+0+1+...)。

你应该做的是例如这样：

docs_new = ["Some test sentence here."]docs_new_labels = [1] # 文档的正确标签索引predicted = text_clf.predict(docs_new)print np.mean(predicted == docs_new_labels) 

至少你不应该与你的训练标签进行比较。请注意，如果np.mean返回1，那么所有文档都被正确分类了。在你的测试数据集中似乎发生了这种情况。确保你的测试和训练数据文件实际上是不同的，因为100%的准确率并不常见（然而，这可能是由于你的训练文件数量少造成的）。顺便提一下，请注意你目前没有使用分词，因此对于你的分类器来说，here和here.将是完全不同的词。